CN110232693A - 一种结合热力图通道及改进U-Net的图像分割方法 - Google Patents

一种结合热力图通道及改进U-Net的图像分割方法 Download PDF

Info

Publication number
CN110232693A
CN110232693A CN201910507527.6A CN201910507527A CN110232693A CN 110232693 A CN110232693 A CN 110232693A CN 201910507527 A CN201910507527 A CN 201910507527A CN 110232693 A CN110232693 A CN 110232693A
Authority
CN
China
Prior art keywords
obtains
block
lengths
characteristic pattern
deconv
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910507527.6A
Other languages
English (en)
Other versions
CN110232693B (zh
Inventor
童明阳
温佩芝
孙梦龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN201910507527.6A priority Critical patent/CN110232693B/zh
Publication of CN110232693A publication Critical patent/CN110232693A/zh
Application granted granted Critical
Publication of CN110232693B publication Critical patent/CN110232693B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种结合热力图通道及改进U‑Net的图像分割方法，步骤为：1）获取一副原始图像；2）对原始图像进行预处理，获得热力图；3）构建多尺度卷积模块，对U‑Net网络结构进行改进；4）将步骤2）预处理完成的热力图输入改进后的U‑Net网络结构中进行图像分割，得到分割后的图像。该方法将多尺度卷积模块和热力图通道加入到U‑Net网络结构中，该方法相较于传统的U‑Net模型，增加了多尺度卷积模块、热力图通道，不仅能够得到完整的特征信息还能有效的提高目标边缘处的精度，使边缘更加平滑。

Description

一种结合热力图通道及改进U-Net的图像分割方法
技术领域
本发明涉及图像处理技术领域，具体是一种结合热力图通道及改进U-Net的图像分割方法。
背景技术
多视角三维重建所需图像往往具有色彩丰富、纹理细致的特点，人工分割极为费时，导致人工标注数据数量较少。U-Net得益于其优秀的结构设计，对训练所需的数据规模需求较小、特征位置信息得到很好保留的特点，因此本发明选择U-Net作为基础结构。
U-Net由一个收缩路径(即编码器)和一个扩展路径(即解码器)所组成。收缩路径由一个典型的卷积神经网络构成，在收缩路径的每一步中使用了两个3x3卷积，且在每次卷积操作后使用线性激活单元(ReLU)，下采样时使用2x2最大池化操作；扩展路径中，每一步使用2x2的反卷积操作，同时与相对应的收缩路径中的特征图连接，再通过两个3x3的卷积操作做特征融合，每个卷积操作后依然使用ReLU作为激活函数。最后使用1x1的卷积核将64维特征向量映射到所需的类别。整个网络共有23个卷积层。该结构能够在提取特征的同时保持特征的位置信息，在图像分割任务中发挥出色。
CA(Context-Aw)算法提出了基于上下文感知的显著度测量方法，该方法使得颜色密集区显著性高，而颜色密度低的区域显著值低。通过使用多尺度增强，综合全局特征与低层局部特征，得到的最终结果能很好的符合本发明的实际应用的需求。
使用现有U-Net对三维重建所需的序列图像做分割时，网络的深度和广度不够，造成了特征提取的不充分，从而导致分割结果不理想。对U-Net网络扩充时，由于卷积核尺寸固定，同一层卷积只能提取相同视野的特征，这时就对卷积核的大小设置有严格要求，过小导致视野过小，只有细节信息而丢失掉了全局信息。在目标较大时，常常导致边缘不连续，目标区域不完整。相反的，卷积核设置过大会导致视野过大，使得提取到的特征无法获得有效的局部信息，导致分割结果不准确。
发明内容
本发明针对现有U-Net网络结构的不足，而提供一种结合热力图通道及改进U-Net的图像分割方法，该方法将多尺度卷积模块和热力图通道加入到U-Net网络结构中，该方法相较于传统的U-Net模型，增加了多尺度卷积模块、热力图通道，不仅能够得到完整的特征信息还能有效的提高目标边缘处的精度，使边缘更加平滑。
实现本发明目的的技术方案是：
一种结合热力图通道及改进U-Net的图像分割方法，包括如下步骤：
1)获取一副原始图像；
2)对原始图像进行预处理，获得热力图；
3)构建多尺度卷积模块，对U-Net网络结构进行改进；
4)将步骤2)预处理完成的热力图输入改进后的U-Net网络结构中进行图像分割，得到分割后的图像。
步骤2)中，所述的预处理，包括如下步骤：
2-1)CA算法通过区域像素块来计算各个像素的显著值，设有图像d，计算图像中像素i的显著值时，首先计算当前像素色块与图像中其他像素色块之间的距离，距离公式为：
公式(1)中，i、k分别为两个像素点，pi、pk分别为点i、k的周围r个像素区块，c取常数3，dcolor(pi,pk)为色块之间的颜色距离，dposition(pi,pk)为色块之间的空间距离；颜色距离和空间距离使用欧式距离计算，在二维空间中，计算两点(x1,y1)及(x2,y2)的欧式距离计算公式为：
2-2)基于公式(1)得到的色块距离，计算单尺度下的显著值，显著值计算公式为：
公式(3)中，为显著值，在实际中，计算一块区域的显著值，无需对全图比较，只需与其最相似的K块区域(即)对比即可；
2-3)对多尺度计算显著值后去均值，得到最终的显著值，即得到显著区域图，显著值的计算公式如下为：
公式(4)中，为多尺度计算后的显著值，另R＝{r1,…,rM}，即M个尺度；
2-4)使用热力图通道构建新的特征图，包括如下步骤：
2-4-1)将大小为384×384的原始三通道图片输入到热力图融合模块；
2-4-2)使用大小为1×1的卷积核对步骤2-4-1)中的输入图片，进行步长为1的卷积，输出一个384×384的双通道特征融合图；
2-4-3)将步骤2-4-2)得到的双通道特征融合图与步骤2-3)得到的显著区域图联结，得到联结图；
2-4-4)将步骤2-4-3)得到的联结图，通过大小为3×3的卷积核进行步长为1的卷积，得到一个大小为384×384的融合图，即获得热力图。
步骤3)中，所述的多尺度卷积模块，构建方法包括如下步骤：
3-1)将热力图通道中得到的融合图，作为多尺度卷积模块的输入；
3-2)对步骤3-1)中输入的图分别进行5×5、3×3、1×1步长均为1的卷积操作，得到特征图Conv1、Conv2、Conv3；
3-3)将步骤3-2)得到的特征图联结，得到融合后的128维特征图Merge；
3-4)将步骤3-3)得到的Merge进行3×3×64步长为1的池化操作，得到64维特征图Conv4；
3-5)将Conv4进行批正则化，防止梯度消失，完成多尺度卷积模块的构建。
步骤3)中，所述的U-Net网络结构，改进方法包括如下步骤：
3-6)将构建的多尺度卷积模块，替换原U-Net网络中第一个池化层(Pool_1)和第二个池化层(Pool_2)之间的两个卷积层；
3-7)将构建的多尺度卷积模块替换原U-Net网络中第二个池化层(Pool_2)和第三个池化层(Pool_3)之间的两个卷积层；
3-8)将构建的多尺度卷积模块替换原U-Net网络中第三个池化层(Pool_3)和第四个池化层(Pool_4)之间的两个卷积层；
3-9)将构建的多尺度卷积模块替换原U-Net网络中第四个池化层(Pool_4)和第一次反卷积之间的两个卷积层，完成U-Net网络结构的改进。
步骤4)中，所述的图像分割，包括如下步骤：
4-1)将步骤2)得到的热力图输入到改进后的U-Net网络结构中，进行一次卷积核大小为3×3×64步长为1的卷积操作，得到64维的特征图Conv1_1；
4-2)对步骤4-1)得到的特征图Conv1_1进行一次卷积核大小为为3×3×64步长为1的卷及操作，得到64维特征图Conv1_2；
4-3)对步骤4-2)中得到的特征图Conv1_2进行大小为3×3步长为2的最大池化操作，得到特征图Pool_1；
4-4)将步骤4-3)得到的Pool_1输入到(3)所设计的多尺度卷积模块M_block中，得到特征图M_block_1；
4-5)对步骤4-4)得到的M_block_1进行一次大小为3×3步长为2的最大池化操作，得到特征图Pool_2；
4-6)将步骤4-5)得到的Pool_2输入到多尺度卷积模块M_block中，得到特征图M_block_2；
4-7)对M_block_2进行一次大小为3×3步长为2的最大池化操作，得到特征图Pool_3；
4-8)将Pool_3输入到多尺度卷积模块M_block中，得到特征图M_block_3；
4-9)对M_block_3进行一次大小为3×3步长为2的最大池化操作，得到特征图Pool_4；
4-10)将Pool_4输入到多尺度卷积模块M_block中，得到特征图M_block_4；
4-11)对M_block_4进行大小为3×3步长为2的反卷积操作，得到一个512维的特征图Deconv_1；
4-12)将M_block_3和Deconv_1联结，得到特征图Deconv_1+M_block_3，对Deconv_1+M_block_3进行3×3步长为1的卷及操作，得到512维特征图Conv2_1；
4-13)对Conv2_1进行大小为3×3步长为1的卷积操作，得到512维特征图Conv2_2；
4-14)对Conv_2进行大小为3×3步长为2的反卷积操作，得到256维特征图Deconv_2；
4-15)将M_block_2和Deconv_2联结，得到特征图Deconv_2+M_block_2，对Deconv_2+M_block_2进行3×3步长为1的卷及操作，得到256维特征图Conv3_1；
4-16)对Conv3_1进行大小为3×3步长为1的卷积操作，得到256维特征图Conv3_2；
4-17)对Conv3_2进行大小为3×3步长为2的反卷积操作，得到128维特征图Deconv3；
4-18)将M_block_1和Deconv_3联结，得到特征图Deconv_3+M_block_1，对Deconv_3+M_block_1进行3×3步长为1的卷积操作，得到128维特征图Conv4_1；
4-19)对Conv4_1进行大小为3×3步长为1的卷积操作，得到128维特征图Conv4_2；
4-20)对Conv4_2进行大小为3×3步长为2的反卷积操作，得到64维特征图Deconv_4；
4-21)将Conv1_2和Deconv_4联结，得到特征图Deconv_4+Conv1_2，对Deconv_4+Conv1_2进行3×3步长为1的卷积操作，得到64维特征图Conv5_1；
4-22)对Conv5_1进行大小为3×3步长为1的卷积操作，得到64维特征图Conv5_2；
4-23)对Conv5_2进行大小为1×1步长为1的卷积操作，得到2维特征图Conv5_3；
4-24)将得到的2维特征图Conv5_3输出，得到分割图。
本发明提供的的一种结合热力图通道及改进U-Net的图像分割方法，该方法具有如下优点：
1、方法在目标边缘处的精度提升明显，边缘更光滑；
2、方法在边缘附近的噪声更少，且泛化能力更强；
3、背景分割错误区域明显减少，最终分割图与标签较为一致，有效解决了多视角三维重建的序列图像分割问题。
附图说明
图1为原始图片；
图2为显著性度量结果图；
图3为分割结果图；
图4为热力图融合模块图；
图5为多尺度卷积模块图；
图6为改进的U-Net网络图。
具体实施方式
下面结合附图和实施例对本发明内容做进一步阐述，但不是对本发明的限定。
实施例：
一种结合热力图通道及改进U-Net的图像分割方法，包括如下步骤：
1)获取一副原始图像；
2)对原始图像进行预处理，获得热力图；
3)构建多尺度卷积模块，对U-Net网络结构进行改进；
4)将步骤2)预处理完成的热力图输入改进后的U-Net网络结构中进行图像分割，得到分割后的图像。
步骤2)中，所述的预处理，包括如下步骤：
2-1)CA算法通过区域像素块来计算各个像素的显著值，，如图1所示，设图1为d，计算图像中像素i的显著值时，首先计算当前像素色块与图像中其他像素色块之间的距离，距离公式为：
公式(1)中，i、k分别为两个像素点，pi、pk分别为点i、k的周围r个像素区块，c取常数3，dcolor(pi,pk)为色块之间的颜色距离，dposition(pi,pk)为色块之间的空间距离；颜色距离和空间距离使用欧式距离计算，在二维空间中，计算两点(x1,y1)及(x2,y2)的欧式距离计算公式为：
2-2)基于公式(1)得到的色块距离，计算单尺度下的显著值，显著值计算公式为：
公式(3)中，为显著值，在实际中，计算一块区域的显著值，无需对全图比较，只需与其最相似的K块区域(即)对比即可；
2-3)对多尺度计算显著值后去均值，得到最终的显著值，即得到显著区域图，显著性度量结果图如图2所示，显著值的计算公式如下为：
公式(4)中，为多尺度计算后的显著值，另R＝{r1,…,rM}，即M个尺度；
2-4)使用热力图通道构建新的特征图，包括如下步骤：
2-4-1)将大小为384×384的原始三通道图片输入到热力图融合模块，热力图融合模块图如图4所示；
2-4-2)使用大小为1×1的卷积核对步骤2-4-1)中的输入图片，进行步长为1的卷积，输出一个384×384的双通道特征融合图；
2-4-3)将步骤2-4-2)得到的双通道特征融合图与步骤2-3)得到的显著区域图联结，得到联结图；
2-4-4)将步骤2-4-3)得到的联结图，通过大小为3×3的卷积核进行步长为1的卷积，得到一个大小为384×384的融合图，即获得热力图。
步骤3)中，所述的多尺度卷积模块，多尺度卷积模块的模型如图5所示，构建方法包括如下步骤：
3-1)将热力图通道中得到的融合图，作为多尺度卷积模块的输入；
3-2)对步骤3-1)中输入的图分别进行5×5、3×3、1×1步长均为1的卷积操作，得到特征图Conv1、Conv2、Conv3；
3-3)将步骤3-2)得到的特征图联结，得到融合后的128维特征图Merge；
3-4)将步骤3-3)得到的Merge进行3×3×64步长为1的池化操作，得到64维特征图Conv4；
3-5)将Conv4进行批正则化，防止梯度消失，完成多尺度卷积模块的构建。
步骤3)中，所述的U-Net网络结构，改进方法包括如下步骤：
3-6)将构建的多尺度卷积模块，替换原U-Net网络中第一个池化层(Pool_1)和第二个池化层(Pool_2)之间的两个卷积层；
3-7)将构建的多尺度卷积模块替换原U-Net网络中第二个池化层(Pool_2)和第三个池化层(Pool_3)之间的两个卷积层；
3-8)将构建的多尺度卷积模块替换原U-Net网络中第三个池化层(Pool_3)和第四个池化层(Pool_4)之间的两个卷积层；
3-9)将构建的多尺度卷积模块替换原U-Net网络中第四个池化层(Pool_4)和第一次反卷积之间的两个卷积层，完成U-Net网络结构的改进。
步骤4)中，所述的图像分割，包括如下步骤：
4-1)将步骤2)得到的热力图输入到改进后的U-Net网络结构中，改进后的U-Net网络结构如图6所示，进行一次卷积核大小为3×3×64步长为1的卷积操作，得到64维的特征图Conv1_1；
4-2)对步骤4-1)得到的特征图Conv1_1进行一次卷积核大小为为3×3×64步长为1的卷及操作，得到64维特征图Conv1_2；
4-3)对步骤4-2)中得到的特征图Conv1_2进行大小为3×3步长为2的最大池化操作，得到特征图Pool_1；
4-4)将步骤4-3)得到的Pool_1输入到(3)所设计的多尺度卷积模块M_block中，得到特征图M_block_1；
4-5)对步骤4-4)得到的M_block_1进行一次大小为3×3步长为2的最大池化操作，得到特征图Pool_2；
4-6)将步骤4-5)得到的Pool_2输入到多尺度卷积模块M_block中，得到特征图M_block_2；
4-7)对M_block_2进行一次大小为3×3步长为2的最大池化操作，得到特征图Pool_3；
4-8)将Pool_3输入到多尺度卷积模块M_block中，得到特征图M_block_3；
4-9)对M_block_3进行一次大小为3×3步长为2的最大池化操作，得到特征图Pool_4；
4-10)将Pool_4输入到多尺度卷积模块M_block中，得到特征图M_block_4；
4-11)对M_block_4进行大小为3×3步长为2的反卷积操作，得到一个512维的特征图Deconv_1；
4-12)将M_block_3和Deconv_1联结，得到特征图Deconv_1+M_block_3，对Deconv_1+M_block_3进行3×3步长为1的卷及操作，得到512维特征图Conv2_1；
4-13)对Conv2_1进行大小为3×3步长为1的卷积操作，得到512维特征图Conv2_2；
4-14)对Conv_2进行大小为3×3步长为2的反卷积操作，得到256维特征图Deconv_2；
4-15)将M_block_2和Deconv_2联结，得到特征图Deconv_2+M_block_2，对Deconv_2+M_block_2进行3×3步长为1的卷及操作，得到256维特征图Conv3_1；
4-16)对Conv3_1进行大小为3×3步长为1的卷积操作，得到256维特征图Conv3_2；
4-17)对Conv3_2进行大小为3×3步长为2的反卷积操作，得到128维特征图Deconv3；
4-18)将M_block_1和Deconv_3联结，得到特征图Deconv_3+M_block_1，对Deconv_3+M_block_1进行3×3步长为1的卷积操作，得到128维特征图Conv4_1；
4-19)对Conv4_1进行大小为3×3步长为1的卷积操作，得到128维特征图Conv4_2；
4-20)对Conv4_2进行大小为3×3步长为2的反卷积操作，得到64维特征图Deconv_4；
4-21)将Conv1_2和Deconv_4联结，得到特征图Deconv_4+Conv1_2，对Deconv_4+Conv1_2进行3×3步长为1的卷积操作，得到64维特征图Conv5_1；
4-22)对Conv5_1进行大小为3×3步长为1的卷积操作，得到64维特征图Conv5_2；
4-23)对Conv5_2进行大小为1×1步长为1的卷积操作，得到2维特征图Conv5_3；
4-24)将得到的2维特征图Conv5_3输出，得到分割图，如图3所示。

Claims (5)

1.一种结合热力图通道及改进U-Net的图像分割方法，其特征在于，包括如下步骤：
1)获取一副原始图像；
2)对原始图像进行预处理，获得热力图；
3)构建多尺度卷积模块，对U-Net网络结构进行改进；
4)将步骤2)预处理完成的热力图输入改进后的U-Net网络结构中进行图像分割，得到分割后的图像。
2.根据权利要求1所述的一种结合热力图通道及改进U-Net的图像分割方法，其特征在于，步骤2)中，所述的预处理，包括如下步骤：
2-1)CA算法通过区域像素块来计算各个像素的显著值，设有图像d，计算图像中像素i的显著值时，首先计算当前像素色块与图像中其他像素色块之间的距离，距离公式为：
公式(1)中，i、k分别为两个像素点，pi、pk分别为点i、k的周围r个像素区块，c取常数3，dcolor(pi,pk)为色块之间的颜色距离，dposition(pi,pk)为色块之间的空间距离；颜色距离和空间距离使用欧式距离计算，在二维空间中，计算两点(x1,y1)及(x2,y2)的欧式距离计算公式为：
2-2)基于公式(1)得到的色块距离，计算单尺度下的显著值，显著值计算公式为：
公式(3)中，为显著值，在实际中，计算一块区域的显著值，无需对全图比较，只需与其最相似的K块区域(即)对比即可；
2-3)对多尺度计算显著值后去均值，得到最终的显著值，即得到显著区域图，显著值的计算公式如下为：
公式(4)中，为多尺度计算后的显著值，另R＝{r1,…,rM}，即M个尺度；
2-4)使用热力图通道构建新的特征图，包括如下步骤：
2-4-1)将大小为384×384的原始三通道图片输入到热力图融合模块；
2-4-2)使用大小为1×1的卷积核对步骤2-4-1)中的输入图片，进行步长为1的卷积，输出一个384×384的双通道特征融合图；
2-4-3)将步骤2-4-2)得到的双通道特征融合图与步骤2-3)得到的显著区域图联结，得到联结图；
2-4-4)将步骤2-4-3)得到的联结图，通过大小为3×3的卷积核进行步长为1的卷积，得到一个大小为384×384的融合图，即获得热力图。
3.根据权利要求1所述的一种结合热力图通道及改进U-Net的图像分割方法，其特征在于，步骤3)中，所述的多尺度卷积模块，构建方法包括如下步骤：
3-1)将热力图通道中得到的融合图，作为多尺度卷积模块的输入；
3-2)对步骤3-1)中输入的图分别进行5×5、3×3、1×1步长均为1的卷积操作，得到特征图Conv1、Conv2、Conv3；
3-3)将步骤3-2)得到的特征图联结，得到融合后的128维特征图Merge；
3-4)将步骤3-3)得到的Merge进行3×3×64步长为1的池化操作，得到64维特征图Conv4；
3-5)将Conv4进行批正则化，防止梯度消失，完成多尺度卷积模块的构建。
4.根据权利要求1所述的一种结合热力图通道及改进U-Net的图像分割方法，其特征在于，步骤3)中，所述的U-Net网络结构，改进方法包括如下步骤：
3-6)将构建的多尺度卷积模块，替换原U-Net网络中第一个池化层(Pool_1)和第二个池化层(Pool_2)之间的两个卷积层；
3-7)将构建的多尺度卷积模块替换原U-Net网络中第二个池化层(Pool_2)和第三个池化层(Pool_3)之间的两个卷积层；
3-8)将构建的多尺度卷积模块替换原U-Net网络中第三个池化层(Pool_3)和第四个池化层(Pool_4)之间的两个卷积层；
3-9)将构建的多尺度卷积模块替换原U-Net网络中第四个池化层(Pool_4)和第一次反卷积之间的两个卷积层，完成U-Net网络结构的改进。
5.根据权利要求1所述的一种结合热力图通道及改进U-Net的图像分割方法，其特征在于，步骤4)中，所述的图像分割，包括如下步骤：
4-1)将步骤2)得到的热力图输入到改进后的U-Net网络结构中，进行一次卷积核大小为3×3×64步长为1的卷积操作，得到64维的特征图Conv1_1；
4-2)对步骤4-1)得到的特征图Conv1_1进行一次卷积核大小为为3×3×64步长为1的卷及操作，得到64维特征图Conv1_2；
4-3)对步骤4-2)中得到的特征图Conv1_2进行大小为3×3步长为2的最大池化操作，得到特征图Pool_1；
4-4)将步骤4-3)得到的Pool_1输入到(3)所设计的多尺度卷积模块M_block中，得到特征图M_block_1；
4-5)对步骤4-4)得到的M_block_1进行一次大小为3×3步长为2的最大池化操作，得到特征图Pool_2；
4-6)将步骤4-5)得到的Pool_2输入到多尺度卷积模块M_block中，得到特征图M_block_2；
4-7)对M_block_2进行一次大小为3×3步长为2的最大池化操作，得到特征图Pool_3；
4-8)将Pool_3输入到多尺度卷积模块M_block中，得到特征图M_block_3；
4-9)对M_block_3进行一次大小为3×3步长为2的最大池化操作，得到特征图Pool_4；
4-10)将Pool_4输入到多尺度卷积模块M_block中，得到特征图M_block_4；
4-11)对M_block_4进行大小为3×3步长为2的反卷积操作，得到一个512维的特征图Deconv_1；
4-12)将M_block_3和Deconv_1联结，得到特征图Deconv_1+M_block_3，对Deconv_1+M_block_3进行3×3步长为1的卷及操作，得到512维特征图Conv2_1；
4-13)对Conv2_1进行大小为3×3步长为1的卷积操作，得到512维特征图Conv2_2；
4-14)对Conv_2进行大小为3×3步长为2的反卷积操作，得到256维特征图Deconv_2；
4-15)将M_block_2和Deconv_2联结，得到特征图Deconv_2+M_block_2，对Deconv_2+M_block_2进行3×3步长为1的卷及操作，得到256维特征图Conv3_1；
4-16)对Conv3_1进行大小为3×3步长为1的卷积操作，得到256维特征图Conv3_2；
4-17)对Conv3_2进行大小为3×3步长为2的反卷积操作，得到128维特征图Deconv3；
4-18)将M_block_1和Deconv_3联结，得到特征图Deconv_3+M_block_1，对Deconv_3+M_block_1进行3×3步长为1的卷积操作，得到128维特征图Conv4_1；
4-19)对Conv4_1进行大小为3×3步长为1的卷积操作，得到128维特征图Conv4_2；
4-20)对Conv4_2进行大小为3×3步长为2的反卷积操作，得到64维特征图Deconv_4；
4-21)将Conv1_2和Deconv_4联结，得到特征图Deconv_4+Conv1_2，对Deconv_4+Conv1_2进行3×3步长为1的卷积操作，得到64维特征图Conv5_1；
4-22)对Conv5_1进行大小为3×3步长为1的卷积操作，得到64维特征图Conv5_2；
4-23)对Conv5_2进行大小为1×1步长为1的卷积操作，得到2维特征图Conv5_3；
4-24)将得到的2维特征图Conv5_3输出，得到分割图。
CN201910507527.6A 2019-06-12 2019-06-12 一种结合热力图通道及改进U-Net的图像分割方法 Active CN110232693B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910507527.6A CN110232693B (zh) 2019-06-12 2019-06-12 一种结合热力图通道及改进U-Net的图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910507527.6A CN110232693B (zh) 2019-06-12 2019-06-12 一种结合热力图通道及改进U-Net的图像分割方法

Publications (2)

Publication Number Publication Date
CN110232693A true CN110232693A (zh) 2019-09-13
CN110232693B CN110232693B (zh) 2022-12-09

Family

ID=67859743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910507527.6A Active CN110232693B (zh) 2019-06-12 2019-06-12 一种结合热力图通道及改进U-Net的图像分割方法

Country Status (1)

Country Link
CN (1) CN110232693B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781923A (zh) * 2019-09-27 2020-02-11 重庆特斯联智慧科技股份有限公司 特征提取方法及装置
CN111028236A (zh) * 2019-11-18 2020-04-17 浙江工业大学 一种基于多尺度卷积U-Net的癌细胞图像分割方法
CN111951270A (zh) * 2020-06-29 2020-11-17 珠海格力电器股份有限公司 一种基于深度学习的单目标物体分割方法及检测设备
CN112116700A (zh) * 2020-08-28 2020-12-22 北京航空航天大学 基于单目视图的三维重建方法与装置
CN113076803A (zh) * 2021-03-03 2021-07-06 中山大学 一种基于高分辨率遥感影像的建筑物矢量提取方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830855A (zh) * 2018-04-02 2018-11-16 华南理工大学 一种基于多尺度低层特征融合的全卷积网络语义分割方法
CN109101975A (zh) * 2018-08-20 2018-12-28 电子科技大学 基于全卷积神经网络的图像语义分割方法
CN109410216A (zh) * 2018-09-14 2019-03-01 北京市商汤科技开发有限公司 一种缺血性脑卒中图像区域分割方法及装置
CN109711329A (zh) * 2018-12-25 2019-05-03 北京迈格威科技有限公司 姿态估计及网络训练方法、装置和系统及存储介质
US20190139216A1 (en) * 2017-11-03 2019-05-09 Siemens Healthcare Gmbh Medical Image Object Detection with Dense Feature Pyramid Network Architecture in Machine Learning
CN109741347A (zh) * 2018-12-30 2019-05-10 北京工业大学 一种基于卷积神经网络的迭代学习的图像分割方法
US20190156206A1 (en) * 2017-11-17 2019-05-23 Facebook, Inc. Analyzing Spatially-Sparse Data Based on Submanifold Sparse Convolutional Neural Networks

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190139216A1 (en) * 2017-11-03 2019-05-09 Siemens Healthcare Gmbh Medical Image Object Detection with Dense Feature Pyramid Network Architecture in Machine Learning
US20190156206A1 (en) * 2017-11-17 2019-05-23 Facebook, Inc. Analyzing Spatially-Sparse Data Based on Submanifold Sparse Convolutional Neural Networks
CN108830855A (zh) * 2018-04-02 2018-11-16 华南理工大学 一种基于多尺度低层特征融合的全卷积网络语义分割方法
CN109101975A (zh) * 2018-08-20 2018-12-28 电子科技大学 基于全卷积神经网络的图像语义分割方法
CN109410216A (zh) * 2018-09-14 2019-03-01 北京市商汤科技开发有限公司 一种缺血性脑卒中图像区域分割方法及装置
CN109711329A (zh) * 2018-12-25 2019-05-03 北京迈格威科技有限公司 姿态估计及网络训练方法、装置和系统及存储介质
CN109741347A (zh) * 2018-12-30 2019-05-10 北京工业大学 一种基于卷积神经网络的迭代学习的图像分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JIAXU LENG 等: "Context-Aware U-Net for Biomedical Image Segmentation", 《2018 IEEE INTERNATIONAL CONFERENCE ON BIOINFORMATICS AND BIOMEDICINE (BIBM)》 *
PEIZHI WEN 等: "An Improved U-Net Method for Sequence Images Segmentation", 《2019 ELEVENTH INTERNATIONAL CONFERENCE ON ADVANCED COMPUTATIONAL INTELLIGENCE》 *
许阳: "基于视觉注意力的卷积神经网络在动态场景下的显著目标检测", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
邵婷: "RGB-D图像的显著目标检测方法研究及其应用", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781923A (zh) * 2019-09-27 2020-02-11 重庆特斯联智慧科技股份有限公司 特征提取方法及装置
CN110781923B (zh) * 2019-09-27 2023-02-07 重庆特斯联智慧科技股份有限公司 特征提取方法及装置
CN111028236A (zh) * 2019-11-18 2020-04-17 浙江工业大学 一种基于多尺度卷积U-Net的癌细胞图像分割方法
CN111951270A (zh) * 2020-06-29 2020-11-17 珠海格力电器股份有限公司 一种基于深度学习的单目标物体分割方法及检测设备
CN112116700A (zh) * 2020-08-28 2020-12-22 北京航空航天大学 基于单目视图的三维重建方法与装置
CN112116700B (zh) * 2020-08-28 2022-09-16 北京航空航天大学 基于单目视图的三维重建方法与装置
CN113076803A (zh) * 2021-03-03 2021-07-06 中山大学 一种基于高分辨率遥感影像的建筑物矢量提取方法及系统
CN113076803B (zh) * 2021-03-03 2022-09-30 中山大学 一种基于高分辨率遥感影像的建筑物矢量提取方法及系统

Also Published As

Publication number Publication date
CN110232693B (zh) 2022-12-09

Similar Documents

Publication Publication Date Title
CN110232693A (zh) 一种结合热力图通道及改进U-Net的图像分割方法
Zhang et al. A review of deep learning-based semantic segmentation for point cloud
Zhen et al. Smap: Single-shot multi-person absolute 3d pose estimation
Wang et al. Neuris: Neural reconstruction of indoor scenes using normal priors
Wu et al. Real-time stereo matching with high accuracy via Spatial Attention-Guided Upsampling
Siddiqui et al. Texturify: Generating textures on 3d shape surfaces
Chen et al. Surface normals in the wild
CN107851327A (zh) 粗细搜索方法及图像处理装置
Holzmann et al. Semantically aware urban 3d reconstruction with plane-based regularization
CN105913070A (zh) 一种基于光场相机的多线索显著性提取方法
Garcia-Dorado et al. Automatic urban modeling using volumetric reconstruction with surface graph cuts
CN104851089A (zh) 一种基于三维光场的静态场景前景分割方法和装置
Liu et al. High-quality textured 3D shape reconstruction with cascaded fully convolutional networks
CN112132164B (zh) 目标检测方法、系统、计算机装置及存储介质
CN105046689A (zh) 一种基于多层次图结构的交互式立体图像快速分割方法
Xue et al. Multi-frame stereo matching with edges, planes, and superpixels
CN113378756A (zh) 一种三维人体语义分割方法、终端设备及存储介质
Zhang et al. Wide-area crowd counting: Multi-view fusion networks for counting in large scenes
CN107517366A (zh) 基于rgbd的投影机画面信息自动测量方法
Pesavento et al. Super-resolution 3D human shape from a single low-resolution image
CN113920433A (zh) 物体表面材质的分析方法和装置
Luo et al. Large-Scale 3D Reconstruction from Multi-View Imagery: A Comprehensive Review
Morelli et al. Deep-image-matching: a toolbox for multiview image matching of complex scenarios
Laupheimer et al. Juggling with representations: On the information transfer between imagery, point clouds, and meshes for multi-modal semantics
CN109087344A (zh) 三维重建中的图像选择方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190913

Assignee: GUILIN MINGHUI INFORMATION TECHNOLOGY CO.,LTD.

Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY

Contract record no.: X2022450000402

Denomination of invention: An Image Segmentation Method Combining Thermograph Channel and Improved U-Net

Granted publication date: 20221209

License type: Common License

Record date: 20221226