CN109754402A - 图像处理方法、图像处理装置以及存储介质 - Google Patents

图像处理方法、图像处理装置以及存储介质 Download PDF

Info

Publication number
CN109754402A
CN109754402A CN201810213524.7A CN201810213524A CN109754402A CN 109754402 A CN109754402 A CN 109754402A CN 201810213524 A CN201810213524 A CN 201810213524A CN 109754402 A CN109754402 A CN 109754402A
Authority
CN
China
Prior art keywords
mask
feature
sublayer
input
hierarchical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810213524.7A
Other languages
English (en)
Other versions
CN109754402B (zh
Inventor
王闾威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810213524.7A priority Critical patent/CN109754402B/zh
Priority to US16/613,066 priority patent/US10997725B2/en
Priority to PCT/CN2018/117177 priority patent/WO2019174299A1/en
Publication of CN109754402A publication Critical patent/CN109754402A/zh
Application granted granted Critical
Publication of CN109754402B publication Critical patent/CN109754402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

一种图像处理方法、图像处理装置以及存储介质。该图像处理方法包括：获取输入图像；利用特征提取网络提取输入图像的特征以产生并输出输入图像的目标特征图；以及根据目标特征图，利用掩码构建网络构建并输出输入图像的目标掩码图。特征提取网络包括依次连接的特征输入层、特征中间层和特征输出层，掩码构建网络包括依次连接的掩码输入层、掩码中间层和掩码输出层，特征输出层与掩码输入层连接，特征中间层与掩码中间层连接，特征输入层与掩码输出层连接，掩码中间层包括中间上采样子层，掩码输出层包括输出上采样子层，中间上采样子层和输出上采样子层分别包括反池化层。

Description

图像处理方法、图像处理装置以及存储介质
技术领域
本公开的实施例涉及一种图像处理方法、图像处理装置以及存储介质。
背景技术
图像分割是一种将图像分成若干个特定的、具有独特性质的区域并提取感兴趣目标的技术。医学图像分割是图像分割的一个重要应用领域。医学图像分割是指从医学图像中提取感兴趣组织的区域或边界，使所提取的组织能够与其他组织明显地区别开来。医学图像分割对三维可视化、三维定位、组织定量分析、制定手术计划和计算机辅助诊断具有重要的意义。
医学图像分割可以采用基于体素的分割方法、基于区域的分割方法、基于配准的分割方法以及基于人工智能的分割方法等方法。基于人工智能的分割方法可以采用神经网络对医学图像执行分割处理，其具有图像分割精度高、可重复性好等特点。
发明内容
本公开至少一实施例提供一种图像处理方法，其包括：获取输入图像；利用特征提取网络提取所述输入图像的特征以产生并输出所述输入图像的目标特征图，其中，所述特征提取网络包括依次连接的特征输入层、特征中间层和特征输出层；根据所述目标特征图，利用掩码构建网络构建并输出所述输入图像的目标掩码图，其中，所述掩码构建网络包括依次连接的掩码输入层、掩码中间层和掩码输出层，所述特征输出层与所述掩码输入层连接，所述特征中间层与所述掩码中间层连接，所述特征输入层与所述掩码输出层连接，所述掩码中间层包括中间上采样子层，所述掩码输出层包括输出上采样子层，所述中间上采样子层和所述输出上采样子层分别包括反池化层。
本公开至少一实施例还提供一种图像处理装置，其包括存储器和处理器，所述存储器存储有适于由处理器运行的计算机程序指令，所述计算机指令被处理器运行时执行上述任一所述的图像处理方法中的一个或多个步骤。
本公开至少一实施例还提供一种存储介质，其上存储有计算机指令，所述计算机指令被处理器运行时执行上述任一所述的图像处理方法中的一个或多个步骤。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1为本公开一实施例提供的一种图像处理方法的示意性流程图；
图2A为本公开一实施例提供的一幅输入图像的示意图；
图2B为对图2A所示的输入图像进行预处理之后的图像的示意图；
图3A为本公开一实施例提供的一种特征提取网络和掩码构建网络的示意性结构图；
图3B为图3A所示的掩码构建网络中的第一中间掩码分层的示意性结构图；
图3C为图3A所示的特征提取网络中的特征输入层的示意性结构图；
图4为图1所示的图像处理方法中的步骤S30的示意性流程图；
图5为本公开一实施例提供的一种通道变化的示意图；
图6为本公开一实施例提供的一种池化操作和反池化操作的示意图；
图7为图1所示的图像处理方法中的步骤S20的示意性流程图；
图8为本公开一实施例提供的一种填充操作的示意图；
图9为本公开一实施例提供的另一种特征提取网络和掩码构建网络的示意性结构图；
图10为本公开一实施例提供的另一种通道变化的示意图；
图11A为一幅样本图像的示意图；
图11B为图11A所示的样本图像的预设掩码图的示意图；
图12为本公开一实施例提供的一种图像处理装置的示意性框图；以及
图13为本公开一实施例提供的一种存储介质的示意图。
具体实施方式
为了使得本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
为了保持本公开实施例的以下说明清楚且简明，本公开省略了已知功能和已知部件的详细说明。
在医学领域，深度学习神经网络可以用于医学图像分割，其可以提升图像分割的准确性，减少抽取特征的时间，提高计算效率。医学图像分割可以用于提取感兴趣区域，以便于医学图像的分析和识别。医学图像分割还可以用于医学图像的三维重建和可视化等。
上述以医学图像为例进行的示意性说明，其它涉及到图像分割、图像重建等需求的领域依旧可以适用本公开实施例提供的技术方案。
本公开实施例提供一种图像处理方法、图像处理装置以及存储介质，其可以基于神经网络分割各种类型的医学图像，在保证精度的前提下提高图像分割的速度，减少显存占用量，能够解决医疗资源不足的问题。例如，在本公开实施例中，通过使用一种全卷积神经网络(该全卷积神经网络没有全连接层)，在保证精度的同时提高了处理速度。
下面对本公开的实施例进行详细说明，但是本公开并不限于这些具体的实施例。
图1示出了本公开一实施例提供的一种图像处理方法的示意性流程图。
例如，在本公开实施例提供的图像处理方法中，神经网络可以包括特征提取网络和掩码构建网络。特征提取网络用于提取特征图(feature map)，掩码构建网络用于生成掩码图(例如可以是包括输入图像中所需分割出的目标区域的图，例如病理成像中的目标病灶区域、目标病灶器官等)。
如图1所示，本公开实施例提供的图像处理方法可以包括，但不限于，以下步骤：
步骤S10：获取输入图像；
步骤S20：利用特征提取网络提取输入图像的特征以产生并输出输入图像的目标特征图；
步骤S30：根据目标特征图，利用掩码构建网络构建并输出所述输入图像的目标掩码图。
例如，在步骤S10中，输入图像可以为各种类型的图像。输入图像例如可以为医学图像。按照获取医学图像的设备划分，医学图像可以包括超声图像、X射线计算机断层摄影(Computed Tomography，CT)、核磁共振(Magnetic Resonance Imaging，MRI)图像、数字血管剪影(Digital Subtraction Angiography，DSA)和正电子断层摄影(Positron EmissionComputed Tomography PET)等。按照医学图像的内容划分，医学图像可以包括脑组织核磁共振图像、脊髓核磁共振图像、眼底图像、血管图像、胰腺CT图像和肺部CT图像等。
例如，输入图像可以通过图像采集装置获取。当输入图像为医学图像时，图像采集装置例如可以包括超声设备、X线设备、核磁共振设备、核医学设备、医用光学设备以及热成像设备等，本公开在此不作限定。
需要说明的是，输入图像也可以为人物图像、动植物图像或风景图像等。
例如，输入图像可以为灰度图像，也可以为彩色图像。
例如，输入图像的尺寸可以为192×256。但不限于此，输入图像的尺寸还可以为512×512等，本公开实施例对此不作限制。在本公开下面的描述中，以输入图像的尺寸为192×256为例进行详细说明。
例如，输入图像可以是图像采集装置直接采集到的原始图像，也可以是对原始图像进行预处理之后获得的图像。例如，为了避免输入图像的数据质量、数据不均衡等对于图像分割精度的影响，在步骤S10前，本公开实施例提供的图像处理方法还可以包括对输入图像进行预处理的操作。预处理可以消除输入图像中的无关信息或噪声信息，以便于更好地对输入图像进行分割。预处理例如可以包括对输入图像进行图像扩充(Data Augment)和图像缩放。图像扩充包括通过随机裁剪、旋转、翻转、偏斜、调整亮度、对比度等方式扩充输入图像的数据，增加输入图像的差异性，减少图像处理过程中的过拟合现象。图像缩放包括对输入图像进行等比例缩放并剪裁为预设尺寸(例如192×256)，以便于后续进行图像分割处理。需要说明的是，预处理还可以包括伽玛(Gamma)校正、图像增强或降噪滤波等处理。例如，如图2A和2B所示，图2A示出了一幅输入图像，图2B为对图2A所示的输入图像进行随机旋转、偏斜、色彩、对比度以及亮度等预处理之后得到的图像。
例如，若需要对输入图像进行一种物体分割，即从输入图像中分割出一种物体(例如，器官或组织)的形状，则目标掩码图可以仅包括一个特征通道。对于多类物体分割，则目标掩码图可以包括多个特征通道。例如，若需要从输入图像中分割两种物体的形状，则目标掩码图可以包括三个特征通道(例如，三个特征通道可以包括两种物体的两个特征通道和背景特征通道)。
例如，为了提高处理效率，多个通道可以是将输入图像分解为R、G、B三个颜色通道，三个通道上每个通道对应形成一组特征构建和目标掩码所用的特征。
例如，特征提取网络100和掩码构建网络200可以为卷积神经网络(CNN，包括卷积convolution和反卷积backwards convolution，或称deconvolution)，例如，卷积过程可以采用CNN中各种可行的卷积方法；反卷积过程可以通过全卷积(full convolution)，通过全卷积使定义域变大实现；也可以通过记录pooling index，然后扩大空间，再用卷积填充实现。
例如，特征提取网络100和掩码构建网络200在具体的算法实现上，可以采用全卷积神经网络FCN、分割网络SegNet、空洞卷积Dilated Convolutions、基于带孔卷积(atrousconvolution)的深度神经网络DeepLab(V1&V2)、基于多尺度卷积(Atrous SpatialPyramid Pooling)的深度神经网络DeepLab(V3)、多通道分割神经网络RefineNet等实现。
图3A为本公开一实施例提供的一种图像处理方法的示意性结构图。
例如，如图3A所示，特征提取网络100可以包括依次连接的特征输入层10、特征中间层11和特征输出层12。特征提取网络100用于提取输入图像的特征信息。掩码构建网络200可以包括依次连接的掩码输入层22、掩码中间层21和掩码输出层20。掩码构建网络200用于根据目标特征图构建输入图像的目标掩码图。
例如，特征提取网络100与掩码构建网络200对应连接，包括：特征输出层与掩码输入层连接，特征中间层与掩码中间层连接，特征输入层与掩码输出层连接。此处，所称的连接，例如可以是合并concatenate，即通过内存映射的方式将特征提取网络与掩码构建网络相连接的层中具有相同大小的特征映射连接(使得特征对应的向量合并，特征所在层的通道数加倍)。
例如，特征中间层包括一个或依次连接的多个特征中间分层，特征中间分层包括一个或依次连接的多个中间反卷积子层、中间上采样子层；掩码中间层包括一个或依次连接的多个掩码中间分层，掩码中间分层包括一个或依次连接的多个中间卷积子层、中间下采样子层；
如上所述，具有相同大小特征的掩码中间分层和特征中间分层一一对应映射连接。
例如，如图3A所示，在一个示例中，特征中间层11可以包括第一特征中间分层11A，掩码中间层21可以包括第一掩码中间分层21A。特征输出层12可以与掩码输入层22连接，第一特征中间分层11A可以与第一掩码中间分层21A连接，特征输入层10可以与掩码输出层20连接。从而，掩码输出层20可以接收特征输入层10输出的输入卷积特征图F12；第一掩码中间分层21A可以接收第一特征中间分层11A输出的第一中间卷积特征图F212；掩码输入层22可以接收特征输出层12输出的目标特征图TF。
例如，如图4所示，在一个示例中，步骤S30可以包括：
步骤S301：利用掩码输入层对目标特征图执行掩码构建操作，以得到输入掩码图，并输出所述输入掩码图至到第一掩码中间分层；
步骤S302：根据第一中间卷积特征图和输入掩码图，利用第一掩码中间分层构建并输出第一中间掩码图至掩码输出层；
步骤S303：根据输入卷积特征图和第一中间掩码图，利用掩码输出层构建并输出输入图像的目标掩码图。
例如，如图3A所示，掩码输出层20可以包括依次连接的输出上采样子层UP11、第一输出反卷积子层DC11、第二输出反卷积子层DC12和第三输出反卷积子层DC13。第一掩码中间分层21A可以包括依次连接的中间上采样子层UP21、第一中间反卷积子层DC21和第二中间反卷积子层DC22。掩码输入层22可以包括输入反卷积子层DC31。
本公开实施例中，掩码构建网络200利用反卷积子层构建输入图像的目标掩码图，以使得到的目标掩码图更精确，分割效果更好。
需要说明的是，尽管上述实施例是以是以卷积获得输入图像的特征、以反卷积构建输入图像的目标掩码图，其它的计算机视觉领域的图像特征提取方法和掩码构建方法依旧可适用于本公开的实施例。
例如，卷积子层可以用于执行卷积操作，反卷积子层可以用于执行反卷积操作。也就是说，卷积子层的前向传播过程对应反卷积子层的反向传播过程，卷积子层的反向传播过程对应反卷积子层的前向传播过程。反卷积操作可以将各层得到的特征图进行反卷积以得到可视化的图像，也就是说，反卷积操作可以将图像的特征信息从特征图空间转化到像素空间。反卷积操作可以对卷积子层输出的特征图进行反卷积，以得到反卷积结果。该反卷积结果可以显示卷积子层提取到的特征信息。例如，在一个示例中，卷积子层可以提取输入图像(例如，尺寸为227×227)的特征信息以得到特征图(例如，尺寸为13×13)。若需要查看卷积子层提取的特征信息，则该卷积子层输出的特征图需要输入至一反卷积子层中，然后经过反池化、反激活、反卷积等操作，将卷积子层输出的特征图放大以得到一张与原始输入图像的尺寸相同的输出图像，即输出图像的尺寸也为227×227。输出图像可以显示卷积子层提取的特征信息。
需要说明的是，反卷积子层可以包括掩码构建网络200中的第一输出反卷积子层DC11、第二输出反卷积子层DC12、第三输出反卷积子层DC13、第一中间反卷积子层DC21、第二中间反卷积子层DC22和输入反卷积子层DC31等。
例如，在一个示例中，步骤S301可以包括：首先利用输入反卷积子层对目标特征图执行掩码构建操作，以得到输入掩码图；然后输出所述输入掩码图到第一掩码中间分层。
例如，在步骤301中，掩码构建操作可以包括通道减少操作。例如，如图3A和5所示，在一个示例中，特征输出层12输出的目标特征图TF包括64个特征通道。输入反卷积子层DC31对目标特征图TF执行通道减少操作，以得到输入掩码图DF1。输入掩码图DF1的特征通道的数量例如可以为32，也就是说，输入反卷积子层DC31将目标特征图TF的特征通道减半。
需要说明的是，在掩码构建网络200中，每个特征通道表示一个子掩码图；在特征提取网络中，每个特征通道表示一个子特征图(sub-feature map)。也就是说，若目标特征图TF的特征通道的数量为64，则目标特征图TF包括64个子特征图；若输入掩码图DF1的特征通道的数量为32，则输入掩码图DF1包括32个子掩码图。子掩码图表示对图像执行反卷积操作后得到的结果，子特征图表示对图像执行卷积操作后得到的结果。
例如，如图5所示，在一个示例中，输入掩码图DF1的特征通道的数量为32，则输入反卷积子层DC31可以构建并输出32个子掩码图。输入掩码图DF1包括该32个子掩码图。
例如，在步骤301中，掩码构建操作还可以包括反卷积操作。在反卷积操作中，反卷积操作的卷积核算子(kernel)可以为3×3矩阵，步长(stride)为1，填充(Padding)为1。“填充(Padding)为1”可以表示在掩码图的行方向上的两端均增加一行数据，在掩码图的列方向上的两端也均增加一列数据，即若掩码图的尺寸为48×64，当对掩码图执行填充(Padding)操作后，掩码图的尺寸变为50×66。由此，通过输入反卷积子层DC31对目标特征图TF执行反卷积操作后，输入反卷积子层DC31输出的输入掩码图DF1的尺寸与目标特征图TF的尺寸相同。例如，如图5所示，在一个示例中，目标特征图TF的尺寸为48×64，输入反卷积子层DC31输出的输入掩码图DF1的尺寸也为48×64。
例如，中间上采样子层UP21和输出上采样子层UP11可以分别包括反池化层。反池化层用于执行反池化操作。反池化层可以增加输入的掩码图的各个维度的值，以增加掩码图的数据量，从而可以用于实现图像的重构。掩码构建网络200通过反池化层实现上采样，从而可以减少上采样的计算量，提高神经网络的计算速度，减少显存占用量。
例如，图6中左边表示池化操作，图6中右边表示反池化操作。池化操作包括下采样的过程；与池化操作相反，反池化操作则包括上采样的过程。反池化操作需要对应的池化操作中的参数(例如，最大值的坐标等)。例如，如图6所示，在池化操作中，假设第一输入图像50的尺寸是3×3，第一输入图像50中最大值所在位置的坐标为(0，1)，且该最大值为8。池化操作采用最大值合并(max-pooling)方法，且下采样因子为3×3矩阵，则第一输入图像50经过池化操作后得到第一输出图像51，第一输出图像51的尺寸为1×1，第一输出图像51中的像素点的值为8。例如，在反池化操作中，假设第二输入图像52的尺寸是1×1，第二输入图像52需要扩大至其尺寸为3×3，则反池化操作的上采样因子的尺寸可以为3×3矩阵。在反池化操作中，首先获取池化操作中最大值所在位置的坐标(即坐标(0，1))，然后将坐标为(0，1)的像素点填充最大激活值(例如，7.8)，其余位置的像素点全部填充0，从而得到第二输出图像53，第二输出图像53的尺寸为3×3。
需要说明的是，中间上采样子层UP21和输出上采样子层UP11还可以采用跨度转置卷积(strides transposed convolution)、插值(例如，内插值、两次立方插值等)等算法进行上采样。
例如，在一个示例中，步骤S302可以包括：首先利用第一掩码中间分层的中间上采样子层，对输入掩码图组执行上采样操作；然后利用第一掩码中间分层的第一中间反卷积子层，对第一中间卷积特征图和第一掩码中间分层的中间上采样子层的输出执行掩码构建操作(例如，将第一中间卷积特征图和第一掩码中间分层的中间上采样子层的输出连接(concatenate)在一起，并对连接后的数据执行掩码构建操作)；最后利用第一掩码中间分层的第二中间反卷积子层，对第一掩码中间分层的第一中间反卷积子层的输出执行掩码构建操作，以得到第一中间掩码图。
例如，如图3A所示，第一掩码中间分层21A的中间上采样子层UP21可以对输入掩码图DF1执行上采样操作以得到掩码图F411。如图5所示，在一个示例中，上采样操作的上采样因子为2×2，步长(stride)为2，由此，若输入掩码图DF1的尺寸均为48×64,则掩码图F411的尺寸为96×128；若输入掩码图DF1的特征通道的数量为32，则掩码图F411的特征通道的数量也为32。也就是说，输入掩码图DF1的特征通道的数量和掩码图F411的特征通道的数量相同，而掩码图F411的尺寸变为输入掩码图DF1的4倍，即具有输入掩码图DF1的4倍的像素数量。
例如，如图3A所示，第一掩码中间分层21A的第一中间反卷积子层DC21可以接收第一中间卷积特征图F212和第一掩码中间分层21A的中间上采样子层UP21的输出(即掩码图F411)，并同时对第一中间卷积特征图F212和掩码图F411执行掩码构建操作，以得到掩码图F412。掩码构建操作包括反卷积操作和通道减少操作，掩码图F412的特征通道例如可以为第一中间卷积特征图F212的特征通道和掩码图F411的特征通道之和的一半。如图5所示，第一中间卷积特征图F212的特征通道的数量为32，掩码图F411的特征通道的数量也为32，从而，掩码图F412的特征通道的数量可以为32。掩码构建操作可以不改变图像的尺寸，也就是说，第一中间卷积特征图F212的尺寸、掩码图F411的尺寸和掩码图F412的尺寸均相同，例如，尺寸均为96×128。
例如，如图3A所示，第一掩码中间分层21A的第二中间反卷积子层DC22可以对第一掩码中间分层21A的第一中间反卷积子层DC21的输出(即掩码图F412)执行掩码构建操作，以得到第一中间掩码图F413。例如，如图5所示，掩码图F412的特征通道的数量为32，而第一中间掩码图F413的特征通道的数量为16。掩码图F412的尺寸和第一中间掩码图F413的尺寸相同，均为96×128。
例如，在一个示例中，步骤S303可以包括：首先利用输出上采样子层，对第一中间掩码图执行上采样操作；然后利用第一输出反卷积子层，对输入卷积特征图和输出上采样子层的输出执行掩码构建操作(例如，将输入卷积特征图和输出上采样子层的输出连接(concatenate)在一起，并对连接后的数据执行掩码构建操作)；接着利用第二输出反卷积子层，对第一输出反卷积子层的输出执行掩码构建操作；最后利用第三输出反卷积子层，对第二输出反卷积子层的输出执行掩码构建操作，以得到并输出输入图像的目标掩码图。
例如，如图3A所示，输出上采样子层UP11可以对第一中间掩码图F413执行上采样操作。如图5所示，在一个示例中，步骤S303中的上采样操作与步骤S302中的上采样操作相同，输出上采样子层UP11可以对第一中间掩码图F413执行上采样操作以得到掩码图UF2，若第一中间掩码图F413的尺寸为96×128,则掩码图UF2的尺寸为192×256；若第一中间掩码图F413的特征通道的数量为16，则掩码图UF2的特征通道的数量也为16。也就是说，第一中间掩码图F413的特征通道的数量和掩码图UF2的特征通道的数量相同，而掩码图UF2的尺寸变为第一中间掩码图F413的尺寸的4倍。
需要说明的是，步骤S303中的上采样操作与步骤S302中的上采样操作也可以不同，对此不作限制。
例如，如图3A所示，第一输出反卷积子层DC11可以接收输入卷积特征图F12和输出上采样子层UP11的输出(即掩码图UF2)，将输入卷积特征图F12和掩码图UF2连接在一起，并同时对连接后的输入卷积特征图F12和掩码图UF2执行掩码构建操作，以得到掩码图F31。掩码图F31的特征通道可以为输入卷积特征图F12的特征通道和掩码图UF2的特征通道之和的一半。例如，如图5所示，输入卷积特征图F12的特征通道的数量为16，掩码图UF2的特征通道的数量也为16，从而，掩码图F31的特征通道的数量为16。输入卷积特征图F12的尺寸、掩码图UF2的尺寸和掩码图F31的尺寸相同，例如，尺寸均为192×256。
例如，如图3A所示，第二输出反卷积子层DC12可以对第一输出反卷积子层DC11的输出(即掩码图F31)执行掩码构建操作，以得到掩码图F32。例如，如图5所示，掩码图F31的特征通道的数量为16，掩码图F32的特征通道的数量为8。掩码图F32的尺寸和掩码图F31的尺寸相同，均为192×256。
例如，如图3A所示，第三输出反卷积子层DC13可以对第二输出反卷积子层DC12的输出(即掩码图F32)执行掩码构建操作，以得到输入图像的目标掩码图。例如，如图5所示，掩码图F32的特征通道的数量为8，输入图像的目标掩码图的特征通道的数量为1。输入图像的目标掩码图的尺寸和输入图像的尺寸相同，均为192×256。
例如，可以对输入图像的目标掩码图执行二值化操作，以使目标掩码图中各个像素点的值为0或255。对输入图像的目标掩码图执行二值化操作可以包括：首先利用激活函数对第三输出反卷积子层DC13输出的掩码图进行激活，以使第三输出反卷积子层DC13输出的掩码图中每个点的像素值均在(0，1)之间；然后对激活后的第三输出反卷积子层DC13输出的掩码图进行二值化。即，在第三输出反卷积子层DC13输出的掩码图中，若一个像素点的像素值大于0.5，则该像素点的像素值被重置为1，若一个像素点的像素值小于0.5，则该像素点的像素值被重置为0。最后将二值化后的第三输出反卷积子层DC13输出的掩码图的像素值转换为0或255(即，若像素点的像素值为0，则该像素点的像素值保持为0，若像素点的像素值为1，则该像素点的像素值被重置为255)，由此，得到二值化后的目标掩码图。
例如，在一个示例中，掩码构建网络200还可以包括多个第一归一化子层(BatchNormalization Layer)。例如，第一归一化子层用于将掩码图进行标准化处理，以使掩码图的像素的灰度值在预定范围内变化，从而降低计算难度，提高对比度。例如，预定范围可以为[-1，1]。
例如，在一个示例中，第一归一化子层的数量例如可以与掩码构建网络200中的反卷积子层的数量相同，从而在每个反卷积子层后可以设置一个第一归一化子层。例如，如图3B所示，以第一掩码中间分层21A为例。在第一掩码中间分层21A中，第一中间反卷积子层DC21后可以设置一个第一归一化子层B21，第二中间反卷积子层DC22后可以设置一个第一归一化子层B22。由此，第一归一化子层B21可以对第一中间反卷积子层DC21的输出执行归一化操作；第一归一化子层B22可以对第二中间反卷积子层DC22的输出执行归一化操作。
例如，第一归一化子层可以采用小批梯度下降法(mini-batch gradient decent)方法。对于第一归一化子层B21，假设小批梯度下降法的尺寸为T，第一中间反卷积子层DC21输出的掩码图的数量为C，且每个掩码图均包括H行W列的矩阵，则掩码图的模型表示为(T,C,W,H)。从而，第一归一化层的标准化公式可以表示如下：
其中，xtijk为该第一中间反卷积子层DC21输出的掩码图集合中的第t个特征块(patch)、第i个掩码图、第j列、第k行的值。ytijk表示xtijk经过第一归一化子层B21处理后得到的结果。ε为一个很小的整数，以避免分母为0。
例如，在一个示例中，掩码构建网络200还可以包括多个第一激活子层。每个第一激活子层包括激活函数，激活函数用于给掩码构建网络200引入非线性因素，以使掩码构建网络200可以更好地解决较为复杂的问题。激活函数可以包括线性修正单元(ReLU)函数、S型函数(Sigmoid函数)或双曲正切函数(tanh函数)等。ReLU函数为非饱和非线性函数，且包括Leaky-ReLU函数、P-ReLU函数、R-ReLU函数等，Sigmoid函数和tanh函数为饱和非线性函数。
例如，在一个示例中，第一激活子层可以单独作为掩码构建网络200的一个子层。例如，如图3B所示，以第一掩码中间分层21A为例。在第一掩码中间分层21A中，第一归一化子层B21后可以设置一个第一激活子层A21，第一归一化子层B22后可以设置一个第一激活子层A22。由此，第一激活子层A21可以对第一归一化子层B21的输出执行激活操作；第一激活子层A22可以对第一归一化子层B22的输出执行激活操作。
下面以第一掩码中间分层21A为例说明归一化操作和激活操作。在第一掩码中间分层21A中，第一激活子层A21可以接收第一归一化子层B21的输出。第一归一化子层B21通过使小批梯度下降法的计算结果的均值为0，方差为1，以使第一中间反卷积子层DC21输出的掩码图处于第一激活子层A21的激活函数的敏感区域，从而使第一激活子层A21的激活函数能更有效发挥激活作用，即第一激活子层A21的输出可以更好地表示第一中间卷积特征图F212的特征信息。
例如，在另一个示例中，激活函数也可以被包含在反卷积子层中，也就是说，第一中间反卷积子层DC21中可以包括激活函数，第二中间反卷积子层DC22中也可以包括激活函数。由此，掩码构建操作还可以包括激活操作。
需要说明的是，掩码输出层20和掩码输入层22也可以包括第一归一化子层和第一激活子层。第一归一化子层和第一激活子层在掩码输出层20和掩码输入层22中的作用和位置等与其在掩码中间层21中的作用和位置等相同，在此不再赘述。
例如，如图7所示，在一个示例中，步骤S20可以包括：
步骤S201：利用特征输入层提取输入图像的特征以产生输入特征图和输入卷积特征图，输入特征图被传输至第一特征中间分层，输入卷积特征图被传输至掩码输出层；
步骤S202：利用第一特征中间分层提取输入特征图的特征以产生第一中间特征图和第一中间卷积特征图，第一中间特征图被传输至特征输出层，第一中间卷积特征图被传输至掩码中间层；以及
步骤S203：利用特征输出层提取第一中间特征图的特征以产生目标特征图，目标特征图被传输至掩码输入层。
例如，如图3A所示，特征输入层10可以包括第一输入卷积子层C11、第二输入卷积子层C12和输入下采样子层P11。由此，特征输入层10可以对输入图像进行第一特征提取操作、第二特征提取操作和下采样操作。在图3A所示的示例中，步骤S201可以包括：首先利用第一输入卷积子层C11对输入图像执行第一特征提取操作；然后利用第二输入卷积子层C12对第一输入卷积子层C11的输出执行第二特征提取操作，以产生并输出输入卷积特征图F12至掩码输出层20；最后利用输入下采样子层P11对输入卷积特征图F12执行下采样操作，以产生并输出输入特征图F13至第一特征中间分层11A。
例如，第一特征提取操作可以包括卷积操作和通道增加操作。例如，如图5所示，在一个示例中，输入图像为彩色图像，且具有红绿蓝3个颜色通道。第一输入卷积子层C11对输入图像执行卷积操作和通道增加操作，以得到特征图F11。特征图F11的特征通道的数量为16。也就是说，第一输入卷积子层可以包括16个卷积核，以产生并输出16个子特征图，特征图F11包括该16个特征图。
例如，第二特征提取操作可以包括卷积操作。第二输入卷积子层C12用于对第一输入卷积子层C11的输出(即特征图F11)执行卷积操作，以得到输入卷积特征图F12。输入卷积特征图F12的特征通道的数量为16。
例如，在第一特征提取操作中，卷积操作的卷积核算子(kernel)为3×3矩阵，步长为1，填充(Padding)为1。由此，通过第一输入卷积子层C11对输入图像执行第一特征提取操作后，第一输入卷积子层C11输出的特征图F11的尺寸与和输入图像的尺寸相同。若输入图像的尺寸为192×256，则第一输入卷积子层C11输出的特征图F11的尺寸也为192×256。
例如，如图8所示，在一个示例中，在第一特征提取操作中，输入图像的尺寸为3×3，输入图像包括9个像素(例如，图8中的b1-b9)。对输入图像执行填充(padding)操作后，输入图像的尺寸变为5×5，即增加16像素(例如，图8中的a1-a16)。在padding操作中，填充的数据为可以为1、0或随机数。即a1-a16的值可以为1、0或随机数。填充的数据也可以为相邻像素的值，也就是说，像素a2和a6中填充的数据可以为像素b1的值，依次类推。像素a1中填充的数据可以为像素b1的值，在像素a5中填充的数据可以为像素b3的值，像素a12中填充的数据可以为像素b7的值，在像素a16中填充的数据可以为像素b9的值。本公开实施例对填充的数据不作具体限制。
例如，在第二特征提取操作中，卷积操作的卷积核算子(kernel)为3×3矩阵，步长为1，填充(Padding)为1。因此，第二输入卷积子层C12输出的输入卷积特征图F12的尺寸与第一输入卷积子层C11输出的特征图F11的尺寸相同。即输入卷积特征图F12的尺寸也为192×256，从而输入卷积特征图F12的尺寸和输入图像的尺寸相同。
例如，输入下采样子层P11可以用于缩减输入图像的维度，减少数据量，简化计算的复杂度，在一定程度上减小过拟合的现象；同时，输入下采样子层P11也可以进行特征压缩，提取输入图像的主要特征。输入下采样子层P11能够减少第二输入卷积子层C12输出的输入卷积特征图F12的尺寸，但不改变输入卷积特征图F12的特征通道的数量。如图3A和图5所示，输入下采样子层P11可以对输入卷积特征图F12执行下采样操作以得到输入特征图F13，输入特征图F13的特征通道的数量为16。下采样操作的下采样因子例如可以为2×2的阵列，步长(stride)为2，由此，输入特征图F13的尺寸为96×128。
例如，输入下采样子层P11可以采用最大值合并(max pooling)、平均值合并(average pooling)、随机合并、欠采样(decimation，例如选择固定的像素)、解复用输出(demuxout，将输入图像拆分为多个更小的图像)等下采样方法实现下采样操作。
例如，输入下采样子层P11可以为池化层，从而下采样操作可以为池化操作。输入下采样子层P11与输出上采样子层UP11相对应。也就是说，输入下采样子层P11可以将池化操作中的参数(例如，最大值的坐标等)传输至输出上采样子层UP11。
例如，如图3A所示，在一个示例中，第一特征中间分层11A可以包括第一中间卷积子层C21、第二中间卷积子层C22和中间下采样子层P21。由此，第一特征中间分层11A可以对输入特征图F13进行第一特征提取操作、第二特征提取操作和下采样操作。在图3A所示的示例中，步骤S202可以包括：利用第一特征中间分层11A的第一中间卷积子层C21对输入特征图F13执行第一特征提取操作；利用第一特征中间分层11A的第二中间卷积子层C22对第一中间卷积子层C21的输出执行第二特征提取操作，以产生并输出第一中间卷积特征图F212至第一掩码中间分层21A；以及利用第一特征中间分层11A的中间下采样子层P21对第一中间卷积特征图F212执行下采样操作，以产生并输出第一中间特征图F213至特征输出层12。
例如，如图5所示，第一特征中间分层11A的第一中间卷积子层C21可以对输入特征图F13执行第一特征提取操作，以得到特征图F211。特征图F211的特征通道可以为输入特征图F13的特征通道的两倍，即特征图F211的特征通道的数量为32。特征图F211的尺寸与输入特征图F13的尺寸相同，即特征图F211的尺寸为96×128。
例如，如图5所示，第一特征中间分层11A的第二中间卷积子层C22可以对特征图F211执行第二特征提取操作，以产生第一中间卷积特征图F212。第一中间卷积特征图F212的特征通道的数量为32。第一中间卷积特征图F212的尺寸为96×128，也就是说，输入特征图F13的尺寸和第一中间卷积特征图F212的尺寸相同。
例如，如图5所示，第一特征中间分层11A的中间下采样子层P21可以对第一中间卷积特征图F212执行下采样操作，以产生第一中间特征图F213。第一中间特征图F213的特征通道的数量为32，第一中间特征图F213的尺寸为48×64。
例如，第一特征中间分层11A的中间下采样子层P21也可以为池化层，且与第一掩码中间分层21A的中间上采样子层UP21相对应。也就是说，第一特征中间分层11A的中间下采样子层P21可以将池化操作中的参数传输至第一掩码中间分层21A的中间上采样子层UP21。
例如，如图3A所示，在一个示例中，特征输出层12可以包括输出卷积子层C31。在图3A所示的示例中，步骤S203可以包括：利用输出卷积子层C31对第一中间特征图F213执行第一特征提取操作以产生并输出目标特征图TF至掩码输入层22。
例如，第一中间特征图F213的尺寸和目标特征图TF的尺寸相同。如图5所示，目标特征图TF的尺寸为48×64，目标特征图TF的特征通道的数量为32。
例如，在一个示例中，特征提取网络100还可以包括多个第二归一化子层。在一个示例中，第二归一化子层的数量例如可以与特征提取网络100中的卷积子层的数量相同，从而在每个卷积子层后可以设置一个第二归一化子层。例如，如图3C所示，以特征输入层10为例。在特征输入层10中，第一输入卷积子层C11后可以设置一个第二归一化子层B11，第二输入卷积子层C12后可以设置一个第二归一化子层B12。由此，第二归一化子层B11可以对第一输入卷积子层C11的输出执行归一化操作；第二归一化子层B12可以对第二输入卷积子层C12的输出执行归一化操作。
需要说明的是，卷积子层可以包括特征提取网络100中第一输入卷积子层C11、第二输入卷积子层C12、第一中间卷积子层C21、第二中间卷积子层C22和输出卷积子层C31。
例如，第二归一化子层可以与第一归一化子层相同。关于第二归一化子层的相关说明可以参考上述对于第一归一化层的描述，在此不再赘述。
例如，在一个示例中，特征提取网络100还可以包括多个第二激活子层，第二激活子层用于给特征提取网络100引入非线性因素，以使特征提取网络100可以更好地解决较为复杂的问题。第二激活子层可以与第一激活子层相同。关于第二激活子层的相关说明可以参考上述对于第一激活子层的描述，在此不再赘述。
例如，在一个示例中，第二激活子层可以单独作为特征提取网络100的一个子层。例如，如图3C所示，以特征输入层10为例。在特征输入层10中，第二归一化子层B11后可以设置一个第二激活子层A11，第二归一化子层B12后可以设置一个第二激活子层A12。由此，第二激活子层A11可以对第二归一化子层B11的输出执行激活操作；第二激活子层A12可以对第二归一化子层B12的输出执行激活操作。
例如，在另一个示例中，激活函数也可以被包含在卷积子层中，也就是说，第一输入卷积子层C11中可以包括激活函数，第二输入卷积子层C12中也可以包括激活函数。从而，第一特征提取操作和第二特征提取操作还可以分别包括激活操作。
需要说明的是，第二归一化子层也可以与第一归一化子层不相同，第二激活子层也可以与第一激活子层不相同。本公开对此不作限制。
例如，掩码中间层21可以包括依次连接的多个掩码中间分层。特征中间层11可以包括依次连接的多个特征中间分层。多个掩码中间分层和多个特征中间分层一一对应连接。例如，多个掩码中间分层的中间上采样子层分别与多个特征中间分层的中间下采样子层相对应。
例如，每个特征中间分层可以包括第一中间卷积子层、第二中间卷积子层和中间下采样子层。每个掩码中间分层可以包括中间上采样子层、第一中间反卷积子层和第二中间反卷积子层。也就是说，每个特征中间分层与图3A所示的第一特征中间分层11A的结构相同，每个掩码中间分层与图3A所示的第一掩码中间分层21A的结构相同。
例如，如图9所示，在另一个示例中，掩码中间层21还包括第二掩码中间分层21B、第三掩码中间分层21C和第四掩码中间分层21D，第一掩码中间分层21A、第二掩码中间分层21B、第三掩码中间分层21C和第四掩码中间分层21D依次连接。特征中间层11还包括第二特征中间分层11B、第三特征中间分层11C和第四特征中间分层11D，第一特征中间分层11A、第二特征中间分层11B、第三特征中间分层11C和第四特征中间分层11D依次连接。
例如，第一掩码中间分层21A与第一特征中间分层11A相对应，第二掩码中间分层21B与第二特征中间分层11B相对应，第三掩码中间分层21C与第三特征中间分层11C相对应，第四掩码中间分层21D与第四特征中间分层11D相对应。
例如，第一特征中间分层11A用于提取输入特征图F13的特征以产生第一中间特征图F213和第一中间卷积特征图F212，第一中间特征图F213被传输至第二特征中间分层11B，第一中间卷积特征图F212被传输至第一掩码中间分层21A。
例如，第二特征中间分层11B用于提取第一中间特征图F213的特征以产生第二中间特征图F223和第二中间卷积特征图F222，第二中间特征图F223被传输至第三特征中间分层11C，第二中间卷积特征图F222被传输至第二掩码中间分层21B。
例如，第三特征中间分层11C用于提取第二中间特征图F223的特征以产生第三中间特征图F233和第三中间卷积特征图F232，第三中间特征图F233被传输至第四特征中间分层11D，第三中间卷积特征图F232被传输至第三掩码中间分层21C。
例如，第四特征中间分层11D用于提取第三中间特征图F233的特征以产生第四中间特征图F243和第四中间卷积特征图F242，第四中间特征图F243被传输至特征输出层12，第四中间卷积特征图F242被传输至第四掩码中间分层21D。
例如，如图9所示，第一特征中间分层11A的第一中间卷积子层C21用于对输入特征图F13执行第一特征提取操作，以得到特征图F211；第一特征中间分层11A的第二中间卷积子层C22用于对特征图F211执行第二特征提取操作，以得到第一中间卷积特征图F212；第一特征中间分层11A的中间下采样子层P21用于对第一中间卷积特征图F212执行下采样操作，以得到第一中间特征图F213。
例如，如图9所示，第二特征中间分层11B的第一中间卷积子层C21用于对第一中间特征图F213执行第一特征提取操作，以得到特征图F221；第二特征中间分层11B的第二中间卷积子层C22用于对特征图F221执行第二特征提取操作，以得到第二中间卷积特征图F222；第二特征中间分层11B的中间下采样子层P21用于对第二中间卷积特征图F222执行下采样操作，以得到第二中间特征图F223。
例如，如图9所示，第三特征中间分层11C的第一中间卷积子层C21用于对第二中间特征图F223执行第一特征提取操作，以得到特征图F231；第三特征中间分层11C的第二中间卷积子层C22用于对特征图F231执行第二特征提取操作，以得到第三中间卷积特征图F232；第三特征中间分层11C的中间下采样子层P21用于对第三中间卷积特征图F232执行下采样操作，以得到第三中间特征图F233。
例如，如图9所示，第四特征中间分层11D的第一中间卷积子层C21用于对第三中间特征图F233执行第一特征提取操作，以得到特征图F241；第四特征中间分层11D的第二中间卷积子层C22用于对特征图F241执行第二特征提取操作，以得到第四中间卷积特征图F242；第四特征中间分层11D的中间下采样子层P21用于对第四中间卷积特征图F242执行下采样操作，以得到第四中间特征图F243。
例如，如图9所示，第四掩码中间分层21D的中间上采样子层UP21用于对输入掩码图DF1执行上采样操作以得到掩码图F441；第四掩码中间分层21D的第一中间反卷积子层DC21用于对第四特征中间分层11D输出的第四中间卷积特征图F242和掩码图F441执行掩码构建操作，以得到掩码图F442；第四掩码中间分层21D的第二中间反卷积子层DC22用于对掩码图F442执行掩码构建操作，以构建并输出第四中间掩码图F443至第三掩码中间分层21C。
例如，如图9所示，第三掩码中间分层21C的中间上采样子层UP21用于对第四中间掩码图F443执行上采样操作以得到掩码图F431；第三掩码中间分层21C的第一中间反卷积子层DC21用于对第三特征中间分层11C输出的第三中间卷积特征图F232和掩码图F431执行掩码构建操作，以得到掩码图F432；第三掩码中间分层21C的第二中间反卷积子层DC22用于对掩码图F432执行掩码构建操作，以构建并输出第三中间掩码图F433至第二掩码中间分层21B。
例如，如图9所示，第二掩码中间分层21B的中间上采样子层UP21用于对第三中间掩码图F433执行上采样操作以得到掩码图F421；第二掩码中间分层21B的第一中间反卷积子层DC21用于对第二特征中间分层11B输出的第二中间卷积特征图F222和掩码图F421执行掩码构建操作，以得到掩码图F422；第二掩码中间分层21B的第二中间反卷积子层DC22用于对掩码图F422执行掩码构建操作，以构建并输出第二中间掩码图F423至第一掩码中间分层21A。
例如，如图9所示，第一掩码中间分层21A的中间上采样子层UP21用于对第二中间掩码图F423执行上采样操作以得到掩码图F411；第一掩码中间分层21A的第一中间反卷积子层DC21用于对第一特征中间分层11A输出的第一中间卷积特征图F212和掩码图F411执行掩码构建操作，以得到掩码图F412；第一掩码中间分层21A的第二中间反卷积子层DC22用于对掩码图F412执行掩码构建操作，以构建并输出第一中间掩码图F413至掩码输出层20。
例如，在特征中间层11中，每个特征中间分层可以执行第一特征提取操作、第二特征提取操作和下采样操作。在第一特征提取操作中，特征图的特征通道的数量增加，而特征图的尺寸保持不变。在第二特征提取操作中，特征图的特征通道的数量和尺寸均保持不变。在下采样操作中，特征图的特征通道的数量保持不变，而特征图的尺寸下降。
例如，如图10所示，以第一特征中间分层11A为例。第一特征中间分层11A的第一中间卷积子层C21可以输出特征图F211，第一特征中间分层11A的第二中间卷积子层C22可以输出第一中间卷积特征图F212，第一特征中间分层11A的中间下采样子层P21可以输出第一中间特征图F213。特征图F211的尺寸和第一中间卷积特征图F212的尺寸均为96×128，第一中间特征图F213的尺寸为48×64，特征图F211的通道的数量、第一中间卷积特征图F212的通道的数量和第一中间特征图F213的通道的数量均为32。
例如，在掩码中间层21中，每个掩码中间分层可以执行一次上采样操作和两次掩码构建操作。在掩码构建操作中，掩码图的特征通道的数量均减少，而掩码图的尺寸不变。在上采样操作中，掩码图的特征通道的数量保持不变，而掩码图的尺寸均下降。
例如，如图10所示，以第一掩码中间分层21A为例。第一掩码中间分层21A的中间上采样子层UP21可以输出掩码图F411；第一掩码中间分层21A的第一中间反卷积子层DC21可以输出掩码图F412；第一掩码中间分层21A的第二中间反卷积子层DC22可以输出第一中间掩码图F413。掩码图F411、掩码图F412和第一中间掩码图F413的尺寸均为96×128。掩码图F411的特征通道的数量为32，掩码图F412的特征通道的数量为32，第一中间掩码图F413的特征通道的数量为16。
例如，在执行步骤S10前，本公开实施例提供的图像处理方法还可以包括训练阶段，即利用样本图像和样本图像的预设掩码图训练特征提取网络和掩码构建网络，以生成特征提取网络的参数和掩码构建网络的参数。
例如，预设掩码图可以表示样本图像的标准分割图(即ground truth)。如图11A和图11B所示，图11A为一幅样本图像，图11B为图11A所示的样本图像的预设掩码图。如图11B所示，预设掩码图可以为二值化后的图像，以便于后续计算。
例如，训练阶段可以包括：利用特征提取网络提取样本图像的特征以产生并输出样本图像的训练目标特征图；根据训练目标特征图，利用掩码构建网络构建并输出样本图像的训练掩码图；判断特征提取网络和掩码构建网络的损失函数是否满足预定条件；在特征提取网络和掩码构建网络的损失函数满足预定条件时，获得训练好的特征提取网络和掩码构建网络；在特征提取网络和掩码构建网络的损失函数不满足预定条件时，则继续输入样本图像以重复执行上述训练过程。
例如，在训练阶段中，特征提取网络和掩码构建网络的初始参数可以设置为随机数，也可以采用基于ImageNet等图像数据库的已训练好的特征提取网络和掩码构建网络的参数。
例如，在一个示例中，输入图像为医学图像，样本图像可以为医学图像库中的各种类型的医学图像，从而可以训练得到与不同类型的医学图像对应的特征提取网络和掩码构建网络的参数。根据实际需求，样本图像可以包括脑组织核磁共振图像、血管图像和肺部CT图像等不同类型的医学图像。例如，样本图像可以包括健康的医学图像和病变的医学图像。样本图像可以包括对不同年龄段、不同地方的人进行采样得到的医学图像，从而提高特征提取网络和掩码构建网络分割图像的准确性。
例如，在一个示例中，预定条件可以对应于在一定样本图像输入下特征提取网络和掩码构建网络的损失函数的最小。在另一个示例中，预定条件可以为特征提取网络和掩码构建网络的训练次数或训练周期达到预定数目。
例如，损失函数可以表示训练掩码图与预设掩码图的差异。损失函数包括戴斯相似性系数(dice coefficient)函数、交并比(IOU)函数等。
例如，戴斯相似性系数函数可以表示为：
其中，Loss1表示戴斯相似性系数函数，X1和Y1分别为训练掩码图和预设掩码图，训练掩码图和预设掩码图均为归一化的矩阵。
例如，交并比函数可以表示为：
其中，Loss2表示交并比函数，X2和Y2分别为训练掩码图和预设掩码图。
例如，训练掩码图和预设掩码图均为归一化的矩阵。Loss1或Loss2的值越大(即趋近于1)，则表示训练掩码图与预设掩码图之间的差异越大，也就是说，特征提取网络和掩码构建网络的参数的修正值越大。Loss1或Loss2的值越小，则表示训练掩码图与预设掩码图之间的差异越小。
图12是本公开一实施例提供的一种图像处理装置的示意性框图。如图12所示，图像处理装置70可以包括存储器705和处理器710。存储器705用于存储非暂时性计算机可读指令；处理器710用于运行所述计算机可读指令，所述计算机可读指令被处理器710运行时可以执行根据上述任一项所述的图像处理方法中的一个或多个步骤。
应当注意，图12所示的图像处理装置70的组件只是示例性的，而非限制性的，根据实际应用需要，该图像处理装置70还可以具有其他组件。
例如，处理器710和存储器705之间可以直接或间接地互相通信。
例如，处理器710和存储器705可以通过网络连接进行通信。网络可以包括无线网络、有线网络、和/或无线网络和有线网络的任意组合。
例如，处理器710可以是中央处理单元(CPU)、张量处理器(TPU)或者图形处理器GPU等具有数据处理能力和/或指令执行能力的器件，并且可以控制图像处理装置70中的其它组件以执行期望的功能。中央处理元(CPU)可以为X86或ARM架构等。
例如，存储器705可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机可读指令，处理器710可以运行所述计算机可读指令，以实现图像处理装置70的各种功能。在存储介质中还可以存储各种应用程序和各种数据，例如样本图像、预设掩码图以及应用程序使用和/或产生的各种数据等。
例如，关于图像处理装置的处理过程的详细说明可以参考图像处理方法的实施例中的相关描述，重复之处不再赘述。
图13是本公开一实施例提供的一种存储介质的示意图。例如，如图13所示，在存储介质900上可以存储一个或多个非暂时性计算机可读指令901。例如，当所述非暂时性计算机可读指令901由计算机执行时可以执行根据上文所述的图像处理方法中的一个或多个步骤。
又例如，当所述非暂时性计算机可读指令901由计算机执行时还可以执行根据上文所述的图像处理方法的训练阶段中的一个或多个步骤。
例如，该存储介质可以应用于上述图像处理装置中，例如，其可以为图像处理装置70中的存储器705。
例如，关于存储介质的说明可以参考图像处理装置的实施例中对于存储器705的描述，重复之处不再赘述。
对于本公开，还有以下几点需要说明：
(1)本公开实施例附图只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。
(2)在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。
以上所述仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (21)

1.一种图像处理方法，包括：
获取输入图像；
利用特征提取网络提取输入图像的特征以产生并输出输入图像的目标特征图；以及
根据目标特征图，利用掩码构建网络构建并输出输入图像的目标掩码图；
其中，所述特征提取网络包括依次连接的特征输入层、特征中间层和特征输出层，所述掩码构建网络包括依次连接的掩码输入层、掩码中间层和掩码输出层，所述特征输出层与所述掩码输入层连接，所述特征中间层与所述掩码中间层连接，所述特征输入层与所述掩码输出层连接，所述掩码中间层包括中间上采样子层，所述掩码输出层包括输出上采样子层，所述中间上采样子层和所述输出上采样子层分别包括反池化层。
2.根据权利要求1所述的图像处理方法，其中，所述特征中间层包括一个或依次连接的多个特征中间分层，所述特征中间分层包括一个或依次连接的多个中间反卷积子层、所述中间上采样子层；所述掩码中间层包括一个或依次连接的多个掩码中间分层，所述掩码中间分层包括一个或依次连接的多个中间卷积子层、中间下采样子层；
具有相同大小特征的所述掩码中间分层和所述特征中间分层一一对应映射连接。
3.根据权利要求2所述的图像处理方法，其中，所述特征中间层包括第一特征中间分层，所述掩码中间层包括第一掩码中间分层，所述第一特征中间分层与第一掩码中间分层连接，
利用特征提取网络提取所述输入图像的特征以产生并输出所述输入图像的目标特征图，包括：
利用所述特征输入层提取所述输入图像的特征以产生输入特征图和输入卷积特征图，所述输入特征图被传输至所述第一特征中间分层，所述输入卷积特征图被传输至所述掩码输出层；
利用所述第一特征中间分层提取所述输入特征图的特征以产生第一中间特征图和第一中间卷积特征图，所述第一中间特征图被传输至所述特征输出层，所述第一中间卷积特征图被传输至所述第一掩码中间分层；以及
利用所述特征输出层提取所述第一中间特征图的特征以产生所述目标特征图，所述目标特征图被传输至所述掩码输入层。
4.根据权利要求3所述的图像处理方法，其中，所述掩码输入层包括输入反卷积子层，
所述图像处理方法包括：
利用所述输入反卷积子层对所述目标特征图执行掩码构建操作，以得到输入掩码图，其中，所述掩码构建操作包括反卷积操作和通道减少操作；以及
输出所述输入掩码图到所述第一掩码中间分层。
5.根据权利要求4所述的图像处理方法，还包括：
根据所述第一中间卷积特征图和所述输入掩码图，利用所述第一掩码中间分层构建并输出第一中间掩码图至所述掩码输出层。
6.根据权利要求5所述的图像处理方法，其中，所述第一掩码中间分层包括第一中间反卷积子层、第二中间反卷积子层和所述中间上采样子层，所述图像处理方法包括：
利用所述中间上采样子层对所述输入掩码图执行上采样操作；
利用所述第一中间反卷积子层对所述第一中间卷积特征图和所述中间上采样子层的输出执行所述掩码构建操作；
利用所述第二中间反卷积子层对所述第一中间反卷积子层的输出执行所述掩码构建操作，以得到所述第一中间掩码图。
7.根据权利要求6所述的图像处理方法，还包括：
根据所述输入卷积特征图和所述第一中间掩码图，利用所述掩码输出层构建并输出所述输入图像的目标掩码图。
8.根据权利要求7所述的图像处理方法，其中，所述掩码输出层包括第一输出反卷积子层、第二输出反卷积子层、第三输出反卷积子层和所述输出上采样子层，
所述图像处理方法包括：
利用所述输出上采样子层对所述第一中间掩码图执行上采样操作；
利用所述第一输出反卷积子层对所述输入卷积特征图和所述输出上采样子层的输出执行所述掩码构建操作；
利用所述第二输出反卷积子层对所述第一输出反卷积子层的输出执行所述掩码构建操作；以及
利用所述第三输出反卷积子层对所述第二输出反卷积子层的输出执行所述掩码构建操作，以得到并输出所述输入图像的目标掩码图。
9.根据权利要求4、6或8所述的图像处理方法，其中，所述掩码构建操作还包括激活操作。
10.根据权利要求3所述的图像处理方法，其中，所述特征输入层包括第一输入卷积子层、第二输入卷积子层和输入下采样子层，
所述图像处理方法包括：
利用所述第一输入卷积子层对所述输入图像执行第一特征提取操作；
利用所述第二输入卷积子层对所述第一输入卷积子层的输出执行第二特征提取操作，以产生并输出所述输入卷积特征图至所述掩码输出层；以及
利用所述输入下采样子层对所述输入卷积特征图执行下采样操作，以产生并输出所述输入特征图至所述特征中间层的第一特征中间分层；
其中，所述第一特征提取操作包括卷积操作和通道增加操作，所述第二特征提取操作包括所述卷积操作。
11.根据权利要求10所述的图像处理方法，其中，所述输入图像的尺寸和所述输入卷积特征图的尺寸相同。
12.根据权利要求10所述的图像处理方法，其中，所述第一特征中间分层包括第一中间卷积子层、第二中间卷积子层和中间下采样子层，
所述图像处理方法包括：
利用所述第一中间卷积子层对所述输入特征图执行所述第一特征提取操作；
利用所述第二中间卷积子层对所述第一中间卷积子层的输出执行所述第二特征提取操作，以产生并输出所述第一中间卷积特征图至所述第一掩码中间分层；以及
利用所述中间下采样子层对所述第一中间卷积特征图执行所述下采样操作，以产生并输出所述第一中间特征图至所述特征输出层。
13.根据权利要求12所述的图像处理方法，其中，所述输入特征图的尺寸和所述第一中间卷积特征图的尺寸相同。
14.根据权利要求12所述的图像处理方法，其中，所述特征输出层包括输出卷积子层，
所述图像处理方法包括：
利用所述输出卷积子层对所述第一中间特征图执行所述第一特征提取操作以产生并输出所述目标特征图至所述掩码输入层。
15.根据权利要求14所述的图像处理方法，其中，所述第一中间特征图的尺寸和所述目标特征图的尺寸相同。
16.根据权利要求10、12或14所述的图像处理方法，其中，所述第一特征提取操作和所述第二特征提取操作还分别包括激活操作。
17.根据权利要求2所述的图像处理方法，其中，所述掩码中间层包括第一掩码中间分层、第二掩码中间分层、第三掩码中间分层和第四掩码中间分层，所述第一掩码中间分层、所述第二掩码中间分层、所述第三掩码中间分层和所述第四掩码中间分层依次连接，
所述特征中间层包括第一特征中间分层、第二特征中间分层、第三特征中间分层和第四特征中间分层，所述第一特征中间分层、所述第二特征中间分层、所述第三特征中间分层和所述第四特征中间分层依次连接，
所述第一掩码中间分层、所述第二掩码中间分层、所述第三掩码中间分层和所述第四掩码中间分层分别与所述第一特征中间分层、所述第二特征中间分层、所述第三特征中间分层和所述第四特征中间分层对应连接。
18.根据权利要求17所述的图像处理方法，还包括：
利用所述特征输入层提取所述输入图像的特征以产生并输出输入特征图至所述第一特征中间分层；
利用所述第一特征中间分层提取所述输入特征图的特征以产生第一中间特征图和第一中间卷积特征图，所述第一中间特征图被传输至所述第二特征中间分层，所述第一中间卷积特征图被传输至所述第一掩码中间分层；
利用所述第二特征中间分层提取所述第一中间特征图的特征以产生第二中间特征图和第二中间卷积特征图，所述第二中间特征图被传输至所述第三特征中间分层，所述第二中间卷积特征图被传输至所述第二掩码中间分层；
利用所述第三特征中间分层提取所述第二中间特征图的特征以产生第三中间特征图和第三中间卷积特征图，所述第三中间特征图被传输至所述第四特征中间分层，所述第三中间卷积特征图被传输至所述第三掩码中间分层；
利用所述第四特征中间分层提取所述第三中间特征图的特征以产生第四中间特征图和第四中间卷积特征图，所述第四中间特征图被传输至所述特征输出层，所述第四中间卷积特征图被传输至所述第四掩码中间分层；
利用所述特征输出层提取所述第四中间特征图的特征以产生并输出所述目标特征图至所述掩码输入层；
根据所述目标特征图，利用所述掩码输入层构建输入掩码图，并将所述输入掩码图输出至所述第四掩码中间分层；
根据所述第四中间卷积特征图和所述输入掩码图，利用所述第四掩码中间分层构建第四中间掩码图，并将所述第四中间掩码图输出至所述第三掩码中间分层；
根据所述第三中间卷积特征图和所述第四中间掩码图，利用所述第三掩码中间分层构建第三中间掩码图，并将所述第三中间掩码图输出至所述第二掩码中间分层；
根据所述第二中间卷积特征图和所述第三中间掩码图，利用所述第二掩码中间分层构建第二中间掩码图，并将所述第二中间掩码图输出至所述第一掩码中间分层；以及
根据所述第一中间卷积特征图和所述第二中间掩码图，利用所述第一掩码中间分层构建并输出第一中间掩码图至所述掩码输出层。
19.根据权利要求1所述的图像处理方法，其中，在获取所述输入图像前，所述图像处理方法还包括：
在训练阶段，利用样本图像和所述样本图像的预设掩码图训练所述特征提取网络和所述掩码构建网络，
其中，所述训练阶段的损失函数包括戴斯相似性系数函数或交并比函数。
20.一种图像处理装置，包括存储器和处理器，所述存储器存储有适于由所述处理器运行的计算机程序指令，所述计算机指令被所述处理器运行时执行根据权利要求1-19任一所述的图像处理方法中的一个或多个步骤。
21.一种存储介质，其上存储有计算机指令，所述计算机指令被处理器运行时执行根据权利要求1-19任一所述的图像处理方法中的一个或多个步骤。
CN201810213524.7A 2018-03-15 2018-03-15 图像处理方法、图像处理装置以及存储介质 Active CN109754402B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810213524.7A CN109754402B (zh) 2018-03-15 2018-03-15 图像处理方法、图像处理装置以及存储介质
US16/613,066 US10997725B2 (en) 2018-03-15 2018-11-23 Image processing method, image processing apparatus, and computer-program product
PCT/CN2018/117177 WO2019174299A1 (en) 2018-03-15 2018-11-23 Image processing method, image processing apparatus, and computer-program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810213524.7A CN109754402B (zh) 2018-03-15 2018-03-15 图像处理方法、图像处理装置以及存储介质

Publications (2)

Publication Number Publication Date
CN109754402A true CN109754402A (zh) 2019-05-14
CN109754402B CN109754402B (zh) 2021-11-19

Family

ID=66402405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810213524.7A Active CN109754402B (zh) 2018-03-15 2018-03-15 图像处理方法、图像处理装置以及存储介质

Country Status (3)

Country Link
US (1) US10997725B2 (zh)
CN (1) CN109754402B (zh)
WO (1) WO2019174299A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503014A (zh) * 2019-08-08 2019-11-26 东南大学 基于多尺度掩码感知回馈卷积神经网络的人数统计方法
CN111369519A (zh) * 2020-03-02 2020-07-03 博动医学影像科技（上海）有限公司 冠状动脉的血流速度的计算方法、装置及电子设备
CN112801929A (zh) * 2021-04-09 2021-05-14 宝略科技(浙江)有限公司 一种用于建筑物变化检测的局部背景语义信息增强方法
CN112790782A (zh) * 2021-02-02 2021-05-14 广州柏视医疗科技有限公司 基于深度学习的盆腔肿瘤ctv的自动勾画方法
CN114708973A (zh) * 2022-06-06 2022-07-05 首都医科大学附属北京友谊医院 一种用于对人体健康进行评估的方法和相关产品

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10503998B2 (en) * 2016-11-07 2019-12-10 Gracenote, Inc. Recurrent deep neural network system for detecting overlays in images
CN110866526A (zh) * 2018-08-28 2020-03-06 北京三星通信技术研究有限公司 图像分割方法、电子设备及计算机可读存储介质
US11025907B2 (en) * 2019-02-28 2021-06-01 Google Llc Receptive-field-conforming convolution models for video coding
WO2020059446A1 (ja) * 2018-09-20 2020-03-26 富士フイルム株式会社 学習装置及び学習方法
CN111382832A (zh) * 2018-12-29 2020-07-07 佳能株式会社 多层神经网络模型的训练和应用方法、装置及存储介质
CN111382833A (zh) * 2018-12-29 2020-07-07 佳能株式会社 多层神经网络模型的训练和应用方法、装置及存储介质
US10957027B2 (en) * 2019-03-26 2021-03-23 Intel Corporation Virtual view interpolation between camera views for immersive visual experience
CN111340904B (zh) * 2020-02-10 2023-09-29 深圳先进技术研究院 图像处理方法、装置及计算机可读存储介质
CN111368935B (zh) * 2020-03-17 2023-06-09 北京航天自动控制研究所 一种基于生成对抗网络的sar时敏目标样本增广方法
CN111429347A (zh) * 2020-03-20 2020-07-17 长沙理工大学 图像超分辨率重建方法、装置及计算机可读存储介质
CN111738958B (zh) * 2020-06-28 2023-08-22 字节跳动有限公司 图片修复方法、装置、电子设备及计算机可读介质
CN111932530B (zh) * 2020-09-18 2024-02-23 北京百度网讯科技有限公司 三维对象检测方法、装置、设备和可读存储介质
CN112381097A (zh) * 2020-11-16 2021-02-19 西南石油大学 一种基于深度学习的场景语义分割方法
CN112541878A (zh) * 2020-12-24 2021-03-23 北京百度网讯科技有限公司 建立图像增强模型与图像增强的方法、装置
EP4309126A1 (en) * 2021-03-19 2024-01-24 Cedars-Sinai Medical Center Convolutional long short-term memory networks for rapid medical image segmentation
CN113128510A (zh) * 2021-03-26 2021-07-16 武汉光谷信息技术股份有限公司 一种语义分割方法及系统
CN113673562A (zh) * 2021-07-15 2021-11-19 浙江大华技术股份有限公司 一种特征增强的方法、目标分割方法、装置和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273870A (zh) * 2017-07-07 2017-10-20 郑州航空工业管理学院 一种监控场景下融合上下文信息的行人位置检测方法
US20170325286A1 (en) * 2015-04-20 2017-11-09 Shoelace Wireless, Inc. Systems for Improved Multi-Channel Network Connectivity Performance and Security
CN107464230A (zh) * 2017-08-23 2017-12-12 京东方科技集团股份有限公司 图像处理方法及装置
CN107577758A (zh) * 2017-08-31 2018-01-12 桂林电子科技大学 一种基于多区域交叉权值的图像卷积特征的生成方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6045507A (en) * 1998-10-09 2000-04-04 General Electric Company Method and apparatus for adaptive color flow optimization
US6875178B2 (en) * 2002-06-27 2005-04-05 Siemens Medical Solutions Usa, Inc. Receive circuit for ultrasound imaging
JP4708740B2 (ja) * 2004-06-08 2011-06-22 キヤノン株式会社 画像処理装置及び画像処理方法
US20080114251A1 (en) * 2006-11-10 2008-05-15 Penrith Corporation Transducer array imaging system
CN101815164B (zh) * 2010-04-14 2012-05-16 蒲亦非 基于Riemann-Liouville定义的高精度的数字图像分数阶积分滤波器
US9100307B2 (en) * 2012-12-11 2015-08-04 General Electric Company Systems and methods for communicating ultrasound data by adjusting compression rate and/or frame rate of region of interest mask
CN105120182B (zh) * 2015-09-21 2018-01-30 山东大学 面成型增材制造系统零件支撑结构曝光补偿方法及装置
US10936912B2 (en) * 2018-11-01 2021-03-02 International Business Machines Corporation Image classification using a mask image and neural networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170325286A1 (en) * 2015-04-20 2017-11-09 Shoelace Wireless, Inc. Systems for Improved Multi-Channel Network Connectivity Performance and Security
CN107273870A (zh) * 2017-07-07 2017-10-20 郑州航空工业管理学院 一种监控场景下融合上下文信息的行人位置检测方法
CN107464230A (zh) * 2017-08-23 2017-12-12 京东方科技集团股份有限公司 图像处理方法及装置
CN107577758A (zh) * 2017-08-31 2018-01-12 桂林电子科技大学 一种基于多区域交叉权值的图像卷积特征的生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HYEONWOO NOH ET AL.: "Learning Deconvolution Network for Semantic Segmentation", 《IEEE》 *
OLAF RONNEBERGER ET AL.: "U-Net: Convolutional Networks for Biomedical Image Segmentation", 《ARXIV》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503014A (zh) * 2019-08-08 2019-11-26 东南大学 基于多尺度掩码感知回馈卷积神经网络的人数统计方法
CN110503014B (zh) * 2019-08-08 2023-04-07 东南大学 基于多尺度掩码感知回馈卷积神经网络的人数统计方法
CN111369519A (zh) * 2020-03-02 2020-07-03 博动医学影像科技（上海）有限公司 冠状动脉的血流速度的计算方法、装置及电子设备
CN112790782A (zh) * 2021-02-02 2021-05-14 广州柏视医疗科技有限公司 基于深度学习的盆腔肿瘤ctv的自动勾画方法
CN112790782B (zh) * 2021-02-02 2022-06-24 广州柏视医疗科技有限公司 基于深度学习的盆腔肿瘤ctv的自动勾画系统
CN112801929A (zh) * 2021-04-09 2021-05-14 宝略科技(浙江)有限公司 一种用于建筑物变化检测的局部背景语义信息增强方法
CN114708973A (zh) * 2022-06-06 2022-07-05 首都医科大学附属北京友谊医院 一种用于对人体健康进行评估的方法和相关产品
CN114708973B (zh) * 2022-06-06 2022-09-13 首都医科大学附属北京友谊医院 一种用于对人体健康进行评估的设备和存储介质

Also Published As

Publication number Publication date
CN109754402B (zh) 2021-11-19
US10997725B2 (en) 2021-05-04
WO2019174299A1 (en) 2019-09-19
US20200167929A1 (en) 2020-05-28

Similar Documents

Publication Publication Date Title
CN109754402A (zh) 图像处理方法、图像处理装置以及存储介质
Gibson et al. NiftyNet: a deep-learning platform for medical imaging
US10636142B2 (en) Real-time and accurate soft tissue deformation prediction
CN107622485B (zh) 一种融合深度张量神经网络的医学影像数据分析方法和系统
CN107492099B (zh) 医学图像分析方法、医学图像分析系统以及存储介质
Li et al. Deep learning based imaging data completion for improved brain disease diagnosis
Khagi et al. Pixel-label-based segmentation of cross-sectional brain MRI using simplified SegNet architecture-based CNN
CN109583576A (zh) 一种医学图像处理装置及方法
CN108537794A (zh) 医学图像数据处理方法、装置和计算机可读存储介质
CN109313627A (zh) 对丢失的输入信息具有鲁棒性的用于处理任务的方法和系统
CN109993707A (zh) 图像去噪方法和装置
Du et al. Accelerated super-resolution MR image reconstruction via a 3D densely connected deep convolutional neural network
JP7467336B2 (ja) 複数の撮像モダリティから得られた解剖学的構造の医療画像データを学習するための方法、処理ユニット及び、システム
Pradhan et al. Transforming view of medical images using deep learning
Joyce et al. 3D medical image synthesis by factorised representation and deformable model learning
Kong et al. Whole heart mesh generation for image-based computational simulations by learning free-from deformations
Zhang et al. MinimalGAN: diverse medical image synthesis for data augmentation using minimal training data
Gothwal et al. Computational medical image reconstruction techniques: a comprehensive review
Amirrajab et al. Pathology synthesis of 3d consistent cardiac mr images using 2d vaes and gans
CN112884706B (zh) 一种基于神经网络模型的图像评估系统和相关产品
Li et al. PET and MRI image fusion based on a dense convolutional network with dual attention
Wang et al. Spatial-intensity transform GANs for high fidelity medical image-to-image translation
CN114881930A (zh) 基于降维定位的3d目标检测方法、装置、设备和存储介质
Ashtari et al. Low-rank convolutional networks for brain tumor segmentation
Chen et al. HybridGAN: hybrid generative adversarial networks for MR image synthesis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant