CN110853040B - 一种基于超分辨率重建的图像协同分割方法 - Google Patents

一种基于超分辨率重建的图像协同分割方法 Download PDF

Info

Publication number
CN110853040B
CN110853040B CN201911100065.2A CN201911100065A CN110853040B CN 110853040 B CN110853040 B CN 110853040B CN 201911100065 A CN201911100065 A CN 201911100065A CN 110853040 B CN110853040 B CN 110853040B
Authority
CN
China
Prior art keywords
image
super
images
segmentation
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911100065.2A
Other languages
English (en)
Other versions
CN110853040A (zh
Inventor
刘峡壁
贡晓朋
刘曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Schen Industrial Investment Co ltd
Beijing Deep Ai Intelligent Technology Co ltd
Original Assignee
Guangdong Schen Industrial Investment Co ltd
Beijing Deep Ai Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Schen Industrial Investment Co ltd, Beijing Deep Ai Intelligent Technology Co ltd filed Critical Guangdong Schen Industrial Investment Co ltd
Priority to CN201911100065.2A priority Critical patent/CN110853040B/zh
Publication of CN110853040A publication Critical patent/CN110853040A/zh
Application granted granted Critical
Publication of CN110853040B publication Critical patent/CN110853040B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于超分辨重建的图像协同分割方法，属于图像协同分割技术领域。包括：步骤1输入N张图像，每张图像缩小至原来四分之一；步骤2对每张图像进行超分辨率重建，恢复部分图像细节，得到恢复图像；步骤3将N张恢复图像两两组合得到图像组合，取每组恢复图像，通过卷积神经网络编码得到每组对应的相关性特征图；步骤4对相关性特征图进行解码，得到双通道特征图；步骤5将双通道特征图通过卷积神经网络解码，解码得到的小图输入SRCNN网络并经Sub‑pixel操作获得放大的特征图；步骤6对放大的特征图中每个像素点进行分类，得到分割掩码图。所述协同分割方法基于超分辨率重建能够用更小的图像获得在清晰大图上的分割效果。

Description

一种基于超分辨率重建的图像协同分割方法
技术领域
本发明涉及一种基于超分辨重建的图像协同分割方法，属于图像协同分割技术领域。
背景技术
图像超分辨率重建是指从观测到的低质量、低分辨率图像重建出高质量、高分辨率图像，即给定单张图像，使用智能方法将其放大，得到分辨率更高的图像，且比传统方法放大得到的细节纹理更加清晰，或者在图像大小即分辨率不变的情况下，经处理后，压缩噪声，获得更加清晰、锐利、干净的图像。该技术在军事、医学、公共安全、计算机视觉等方面都有着重要的应用前景。图像分割是计算机视觉和模式识别中的关键技术之一。在计算机视觉领域，图像分割指的是为图像中的每个像素分配一个标签，对图像中每个像素进行分类。本发明在基于人工神经网络的图像分割模型中引入图像超分辨率重建技术，实现在分割网络前图像预处理和分割后图像后处理的超分辨率重建，达到增强图像质量以提高分割准确率的效果。
近年来，图像协同分割多采用基于深度学习的卷积神经网络来实现，尤其多采用全卷积网络FCN，该方法的出色之处在于利用现存的CNN网络作为其模块之一来产生层次化的特征，并将CNN中的全连接层均替换为卷积层，输出空间映射而非分类概率。这些映射通过卷积运算得到，用于产生密集的像素级别的标签。该方法可以为任意大小的输入产生像素级别的标签预测，但结果不够精细。
通过改进FCN结构，Ronneberger等人提出由捕获上下文信息的收缩路径和对称的精确定位的扩张路径组成的U-Net架构。U-Net首先对输入图像下采样并进行特征提取获得低分辨率特征图，通过学习该特征图更高效的分辨类别，随后上采样得到较高分辨率的分割图。下采样使U-net在给定常量卷积核大小的情况下扩大了感受野，却降低了图像空间分辨率，信息有所损失。
DilatedFCN将全卷积网络中最后部分池化层替换为扩张率连续增大的扩张卷积，实现在保持感受野的同时有效保留空间细节。然而，扩张卷积完全替换池化层的网络对计算资源要求比较高。
现有方法构建网络结构时多采用大量的卷积层，然而在整个网络中要保留完整分辨率的计算成本较高。限制输入图像的大小一定程度上可以降低计算复杂度，但受限于深度神经网络结构的图像输入输出大小要求，原有大图需在分割前后进行缩放操作，使图像信息大量损失，图像质量降低，对分割结果准确性造成一定影响。
发明内容
本发明的目的在于现有图像协同分割方法存在图像信息损失导致分割结果准确率较低以及运算资源需求多的技术缺陷，提出了一种基于超分辨率重建的图像协同分割方法。
本发明是基于以下技术方案实现的。
所述基于超分辨率重建的图像协同分割方法，包括如下步骤：
步骤1、输入N张图像，每张图像缩小至原来四分之一大小；
步骤2、遍历步骤1中的每张图像，经EDSR网络进行超分辨率重建，有效恢复部分图像细节，得到恢复图像；
步骤3、将步骤2中得到的N张恢复图像两两组合，得到
Figure BDA0002269579840000021
个图像组合，取每组恢复图像，通过卷积神经网络编码得到每组对应的相关性特征图；
其中，卷积神经网络包括但不限于U型孪生深度网络；
步骤4、通过卷积神经网络对步骤3得到的相关性特征图进行解码，得到
Figure BDA0002269579840000031
个双通道特征图；
其中，双通道特征图上的点代表原图对应位置上属于前景或背景的概率；
步骤5、步骤4得到的双通道特征图通过卷积神经网络解码，解码得到的小图输入SRCNN网络并经Sub-pixel操作后获得放大四倍的特征图；
步骤6、对步骤5得到的放大四倍的特征图用argmax的方法对每个像素点进行分类，得到分割掩码图。
有益效果
本发明所提的一种基于超分辨率重建的图像协同分割方法，与现有图像协同分割技术相比，具有以下有益效果：
1.所述图像协同分割方法针对输入分割网络中的低分辨率、质量低的图像进行图像质量增强和对分割后图像保持原有质量的放大；
2.所述图像协同分割方法因受限于深度神经网络结构的图像输入输出大小，原有图像往往需要在分割前后对图像进行改变大小的转换操作，这一操作使图像高频信息大量损失，降低图像质量，对分割结果准确性造成一定影响，本发明在分割网络中加入超分辨率重建技术，有效恢复因图像放缩丢失的图像信息；
3.现有的超分辨率处理大多是实现放大后的图像的细节补充与恢复，本发明所述图像协同分割方法在步骤2中的EDSR网络中在不改变图像大小的条件下获得更高质量的图像；
4.所述图像协同分割方法将一个大小为H*W的低分辨率图像得到大小为(r*H)*(r*W)的高分辨率图像，不同于现有技术中的直接插值方式生成高分辨率图像，而是使用Sub-pixel操作，只在最后一层对图像大小做变换，前面的卷积运算由于在低分辨率图像上进行，因此效率会较高；
5.所述图像协同分割方法能够用更小的图像来获得在清晰大图上的分割效果，提高计算速度，减少对资源的要求。
附图说明
图1是本发明一种基于超分辨率重建的图像协同分割方法的实施例流程图；
图2是本发明一种基于超分辨率重建的图像协同分割方法的分割网络结构示意图；
图3是输入分割网络的待分割图像；
图4是图3输入图像经本发明分割网络执行物体抠取得到的分割结果示意图。
具体实施方式
根据上述发明内容中所述的技术方案，下面通过附图及具体实施例对本发明所述的一种基于超分辨率重建的图像协同分割方法进行详细说明。
实施例1
本实施例叙述了使用本发明所述的一种基于超分辨率重建的图像协同分割方法在步骤2和步骤5中分别进行图像超分辨率增强和超分辨率放大图像的具体实施。
在商品展示中，需要将同一商品从不同角度拍摄得到的图像的物体前景抠取出来，使用协同分割进行前景分割。为保持分割精度的同时提高计算速度，本发明在缩小输入图像后进行超分辨率处理以重建图像细节，有效减少计算资源的要求。
为了达到上述用更小的图像来获得在清晰大图上的分割效果的目的，本发明选用了改进的U型孪生深度网络，与传统U型网络不同，具体差异体现在：编码器前使用超分辨率重建对小图进行图像增强和解码器之后进行超分辨率放大，有效提升处理速度的同时确保分割准确率。
图2是整个网络框架。分割网络整体结构为U形孪生网络，编码器使用基于resnet50的siamese双通道网络，与传统的分割网络不同，本发明在编码器前加入超分辨率增强模块A，对输入的小图进行超分辨率重建，得到清晰度增强的小图。超分辨率增强模块A右侧为编码器，编码得到一组图像的相关性特征图，其后为解码器和超分辨率放大模块B，最终输出分割掩码图。
图3是输入分割网络的待分割图像展示，是从不同角度拍摄得到的12张商品展示图，作为分割网络的输入图。
图4是图3输入图像经本发明分割网络执行物体抠取得到的分割结果示意图，由图可见分割效果良好。
通过实施本技术，可快速、高精度、高可靠、全自动地从固定背景下的多幅图像中去除背景，获得仅包含物体的图像。实测数据表明：通过使用本发明的技术方法，对于各种不同类型商品，图像背景去除的精确度平均达99％以上；在当前主流GPU计算服务器上，平均每幅图像的处理时间<＝1秒。
本实例采用本发明提出的基于超分辨率重建的图像协同分割方法在商品展示中的商品前景抠取场景下实施，图1是本发明一种基于超分辨率重建的图像协同分割方法的实施例流程图，其具体实施步骤如下：
步骤1、从不同角度对商品进行拍照，以下假定拍摄得到12张图像。
步骤2、每张图像大小缩小为原图四分之一大小，经EDSR网络进行超分辨率重建得到恢复图像，图像质量有所增强。
步骤3、将步骤2得到的12张图像两两组合，得到66组图像，对每组图像通过深度网络进行编码，获取66张图像对应的相关性特征图。
步骤4、通过深度网络对步骤3得到的相关性特征图进行解码，得到66个双通道特征图。两个通道上的每个点分别代表原图对应位置上属于前景和背景的概率。
步骤5、对步骤4得到的两通道特征图进行3次卷积操作，得到2*4*4个通道的特征图，经pixelshuffle方法后得到特征图大小放大4倍的两通道特征图。
步骤6、对步骤5得到的特征图用argmax的方法对每个像素点进行分类，得到66个分割掩码图。
步骤7、针对每个掩码图与对应的输入图像进行前景选择，完成物体抠取过程。
需要强调的是，对于本领域技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些也应视为属于本发明的保护范围。

Claims (3)

1.一种基于超分辨率重建的图像协同分割方法，其特征在于：包括如下步骤：
步骤1、输入N张图像，每张图像缩小至原来四分之一大小；
步骤2、遍历步骤1中的每张图像，经EDSR网络进行超分辨率重建，有效恢复部分图像细节，得到恢复图像；
步骤3、将步骤2中得到的N张恢复图像两两组合，得到
Figure FDA0004048990160000011
个图像组合，取每组恢复图像，通过卷积神经网络编码得到每组对应的相关性特征图；
步骤4、通过卷积神经网络对步骤3得到的相关性特征图进行解码，得到
Figure FDA0004048990160000012
个双通道特征图；
步骤5、步骤4得到的双通道特征图通过卷积神经网络解码，解码得到的小图输入SRCNN网络并经Sub-pixel操作后获得放大四倍的特征图；
步骤6、对步骤5得到的放大四倍的特征图用argmax的方法对每个像素点进行分类，得到分割掩码图。
2.根据权利要求1所述的一种基于超分辨率重建的图像协同分割方法，其特征在于：步骤3中，卷积神经网络包括U型孪生深度网络。
3.根据权利要求1所述的一种基于超分辨率重建的图像协同分割方法，其特征在于：步骤4中，双通道特征图上的点代表原图对应位置上属于前景或背景的概率。
CN201911100065.2A 2019-11-12 2019-11-12 一种基于超分辨率重建的图像协同分割方法 Active CN110853040B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911100065.2A CN110853040B (zh) 2019-11-12 2019-11-12 一种基于超分辨率重建的图像协同分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911100065.2A CN110853040B (zh) 2019-11-12 2019-11-12 一种基于超分辨率重建的图像协同分割方法

Publications (2)

Publication Number Publication Date
CN110853040A CN110853040A (zh) 2020-02-28
CN110853040B true CN110853040B (zh) 2023-04-28

Family

ID=69600301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911100065.2A Active CN110853040B (zh) 2019-11-12 2019-11-12 一种基于超分辨率重建的图像协同分割方法

Country Status (1)

Country Link
CN (1) CN110853040B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610912B (zh) * 2021-08-13 2024-02-02 中国矿业大学 三维场景重建中低分辨率图像单目深度估计系统及方法

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104027129A (zh) * 2014-06-24 2014-09-10 北京大学 一种基于有序子集算法的spect成像方法
WO2016132153A1 (en) * 2015-02-19 2016-08-25 Magic Pony Technology Limited Offline training of hierarchical algorithms
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法
GB201710000D0 (en) * 2015-02-19 2017-08-09 Magic Pony Tech Ltd Online training of hierarchical algorithms
CN107507134A (zh) * 2017-09-21 2017-12-22 大连理工大学 基于卷积神经网络的超分辨率方法
CN107944379A (zh) * 2017-11-20 2018-04-20 中国科学院自动化研究所 基于深度学习的眼白图像超分辨率重建与图像增强方法
WO2018221863A1 (en) * 2017-05-31 2018-12-06 Samsung Electronics Co., Ltd. Method and device for processing multi-channel feature map images
WO2018230832A1 (en) * 2017-06-15 2018-12-20 Samsung Electronics Co., Ltd. Image processing apparatus and method using multi-channel feature map
CN109509149A (zh) * 2018-10-15 2019-03-22 天津大学 一种基于双通道卷积网络特征融合的超分辨率重建方法
CN109544451A (zh) * 2018-11-14 2019-03-29 武汉大学 一种基于渐进式迭代反投影的图像超分辨率重建方法和系统
CN109544450A (zh) * 2018-11-09 2019-03-29 武汉烽火众智数字技术有限责任公司 一种对抗生成网络构建方法及装置、图像重构方法及装置
CN109741260A (zh) * 2018-12-29 2019-05-10 天津大学 一种基于深度反投影网络的高效超分辨率方法
CN109978763A (zh) * 2019-03-01 2019-07-05 昆明理工大学 一种基于跳跃连接残差网络的图像超分辨率重建算法
CN110020989A (zh) * 2019-05-23 2019-07-16 西华大学 一种基于深度学习的深度图像超分辨率重建方法
WO2019145767A1 (en) * 2018-01-25 2019-08-01 King Abdullah University Of Science And Technology Deep-learning based structure reconstruction method and apparatus
CN110163800A (zh) * 2019-05-13 2019-08-23 南京大学 一种基于多帧图像超分辨的芯片显微相位恢复方法和装置
CN110288529A (zh) * 2019-06-28 2019-09-27 闽江学院 一种基于递归局部合成网络的单幅图像超分辨率重建方法
WO2019209657A1 (en) * 2018-04-23 2019-10-31 The Board Of Trustees Of The Leland Stanford Junior University Labeling of molecular probes with nonmetal and metalloid isotopes for multiplexed high resolution analysis

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107492071B (zh) * 2017-08-17 2021-04-27 京东方科技集团股份有限公司 医学图像处理方法及设备
US10482576B2 (en) * 2018-03-19 2019-11-19 Mitsubishi Electric Research Laboratories, Inc. Systems and methods for multi-spectral image super-resolution
US11222415B2 (en) * 2018-04-26 2022-01-11 The Regents Of The University Of California Systems and methods for deep learning microscopy

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104027129A (zh) * 2014-06-24 2014-09-10 北京大学 一种基于有序子集算法的spect成像方法
WO2016132153A1 (en) * 2015-02-19 2016-08-25 Magic Pony Technology Limited Offline training of hierarchical algorithms
GB201710000D0 (en) * 2015-02-19 2017-08-09 Magic Pony Tech Ltd Online training of hierarchical algorithms
CN106228512A (zh) * 2016-07-19 2016-12-14 北京工业大学 基于学习率自适应的卷积神经网络图像超分辨率重建方法
WO2018221863A1 (en) * 2017-05-31 2018-12-06 Samsung Electronics Co., Ltd. Method and device for processing multi-channel feature map images
WO2018230832A1 (en) * 2017-06-15 2018-12-20 Samsung Electronics Co., Ltd. Image processing apparatus and method using multi-channel feature map
CN107507134A (zh) * 2017-09-21 2017-12-22 大连理工大学 基于卷积神经网络的超分辨率方法
CN107944379A (zh) * 2017-11-20 2018-04-20 中国科学院自动化研究所 基于深度学习的眼白图像超分辨率重建与图像增强方法
WO2019145767A1 (en) * 2018-01-25 2019-08-01 King Abdullah University Of Science And Technology Deep-learning based structure reconstruction method and apparatus
WO2019209657A1 (en) * 2018-04-23 2019-10-31 The Board Of Trustees Of The Leland Stanford Junior University Labeling of molecular probes with nonmetal and metalloid isotopes for multiplexed high resolution analysis
CN109509149A (zh) * 2018-10-15 2019-03-22 天津大学 一种基于双通道卷积网络特征融合的超分辨率重建方法
CN109544450A (zh) * 2018-11-09 2019-03-29 武汉烽火众智数字技术有限责任公司 一种对抗生成网络构建方法及装置、图像重构方法及装置
CN109544451A (zh) * 2018-11-14 2019-03-29 武汉大学 一种基于渐进式迭代反投影的图像超分辨率重建方法和系统
CN109741260A (zh) * 2018-12-29 2019-05-10 天津大学 一种基于深度反投影网络的高效超分辨率方法
CN109978763A (zh) * 2019-03-01 2019-07-05 昆明理工大学 一种基于跳跃连接残差网络的图像超分辨率重建算法
CN110163800A (zh) * 2019-05-13 2019-08-23 南京大学 一种基于多帧图像超分辨的芯片显微相位恢复方法和装置
CN110020989A (zh) * 2019-05-23 2019-07-16 西华大学 一种基于深度学习的深度图像超分辨率重建方法
CN110288529A (zh) * 2019-06-28 2019-09-27 闽江学院 一种基于递归局部合成网络的单幅图像超分辨率重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络改进的图像自动分割方法;温佩芝等;《计算机应用研究》;20170901(第09期);全文 *
结合深度学习的单幅遥感图像超分辨率重建;李欣等;《中国图象图形学报》;20180216(第02期);全文 *

Also Published As

Publication number Publication date
CN110853040A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
CN110033410B (zh) 图像重建模型训练方法、图像超分辨率重建方法及装置
Zhang et al. Deep dense multi-scale network for snow removal using semantic and depth priors
Engin et al. Cycle-dehaze: Enhanced cyclegan for single image dehazing
CN109671023B (zh) 一种人脸图像超分辨率二次重建方法
CN113362223B (zh) 基于注意力机制和双通道网络的图像超分辨率重建方法
CN108537754B (zh) 基于形变引导图的人脸图像复原系统
CN113052210B (zh) 一种基于卷积神经网络的快速低光照目标检测方法
CN109345449A (zh) 一种基于融合网络的图像超分辨率及去非均匀模糊方法
CN109035146B (zh) 一种基于深度学习的低质量图像超分方法
Li et al. Single image snow removal via composition generative adversarial networks
CN115358932B (zh) 一种多尺度特征融合的人脸超分辨率重构方法及系统
CN113096017A (zh) 基于深度坐标注意力网络模型的图像超分辨率重建方法
CN114723760B (zh) 人像分割模型的训练方法、装置及人像分割方法、装置
CN116682120A (zh) 基于深度学习的多语种马赛克图像文本识别方法
CN113808005A (zh) 一种基于视频驱动的人脸姿态迁移方法及装置
CN110889854B (zh) 一种基于多尺度深度学习的草图部件分割方法、系统、装置及存储介质
CN112906675B (zh) 一种固定场景中的无监督人体关键点检测方法及系统
CN110889868A (zh) 一种结合梯度和纹理特征的单目图像深度估计方法
CN110853040B (zh) 一种基于超分辨率重建的图像协同分割方法
Hua et al. Dynamic scene deblurring with continuous cross-layer attention transmission
CN113096032A (zh) 一种基于图像区域划分的非均匀一致模糊去除方法
Wan et al. Progressive convolutional transformer for image restoration
Oh et al. Fpanet: Frequency-based video demoireing using frame-level post alignment
Gao et al. Motion deblurring algorithm for wind power inspection images based on Ghostnet and SE attention mechanism
CN109087247A (zh) 一种对立体图像进行超分的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant