CN108830854A - 一种图像分割方法及存储介质 - Google Patents

一种图像分割方法及存储介质 Download PDF

Info

Publication number
CN108830854A
CN108830854A CN201810240429.6A CN201810240429A CN108830854A CN 108830854 A CN108830854 A CN 108830854A CN 201810240429 A CN201810240429 A CN 201810240429A CN 108830854 A CN108830854 A CN 108830854A
Authority
CN
China
Prior art keywords
recurrence
image
convolutional
layer
linking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810240429.6A
Other languages
English (en)
Inventor
林永飞
谭峻东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Multidimensional Magic Mirror High Tech Co Ltd
Original Assignee
Guangzhou Multidimensional Magic Mirror High Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Multidimensional Magic Mirror High Tech Co Ltd filed Critical Guangzhou Multidimensional Magic Mirror High Tech Co Ltd
Priority to CN201810240429.6A priority Critical patent/CN108830854A/zh
Publication of CN108830854A publication Critical patent/CN108830854A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明公开了一种图像分割方法，图像分割方法基于多层递归连接式卷积神经网络的基础上进行，具体包括以下步骤：构建多层递归连接式卷积神经网络；对原始图像进行预处理；利用多层递归连接式卷积神经网络对预处理之后的原始图像进行图像语义分割处理；得到已分割好的图像；其中，所构建的多层递归连接式卷积神经网络由多个重复的递归连接网络单元逐一连接形成。本发明能有效减轻特征消失和梯度弥散的问题，提高了图像语义分割的精度。

Description

一种图像分割方法及存储介质
技术领域
本发明涉及卷积神经网络领域，尤其涉及一种图像分割方法及存储介质。
背景技术
随着卷积神经网络在公开数据集上分类错误率的不断下降，业内技术人员开始关注卷积神经网络在图像像素级的分割的应用，即图像语义分割。图像语义分割是计算机视觉里除了图像分类和目标监测外，另一个非常重要的研究领域。图像语义分割是要对图像中每一个像素点进行分类，相对于图像分类和目标监测来说，图像语义分割的难度更大。
目前，基于深度学习的图像语义分割方法，其所采用的卷积神经网络结构通常是将传统的卷积神经网络中的全连接层修改为卷积层，得到全卷积神经网络，从而实现图像语义分割。
但是，现有的用于图像语义分割的全卷积神经网络都存在特征在正向传播中的消失以及梯度在反向传播中的弥散的问题，从而导致图像语义分割的精度较差。
发明内容
为了克服现有技术的不足，本发明的目的之一在于提供一种基于多层递归连接式卷积神经网络的图像分割方法，其能有效减轻特征消失和梯度弥散的问题，提高了图像语义分割的精度。
本发明的目的之二在于提供一种计算机可读存储介质，其能有效减轻特征消失和梯度弥散的问题，提高了图像语义分割的精度。
本发明的目的之一采用如下技术方案实现：
一种图像分割方法，该图像分割方法基于多层递归连接式卷积神经网络的基础上进行，具体包括以下步骤：
构建多层递归连接式卷积神经网络；
对原始图像进行预处理；
利用所述多层递归连接式卷积神经网络对预处理之后的所述原始图像进行图像语义分割处理；
得到已分割好的图像；
其中，所构建的多层递归连接式卷积神经网络由多个重复的递归连接网络单元逐一连接形成。
进一步地，所述递归连接网络单元包含收缩模块和扩张模块；所述收缩模块由多个递归连接块逐一递进连接而构成；所述扩张模块由多个重复的反卷积层组成，所述收缩模块中的最后一个递归连接块与所述扩张模块中的第一个反卷积层连接，每一个反卷积层的输出结果与所述收缩模块中对应步骤的递归连接块的经过残差块之后的输出结果进行叠加之后再输入到下一个反卷积层中，最后一个反卷积层的输出端为该递归连接单元的输出端。
进一步地，所述收缩模块具有四个所述递归连接块，所述扩张模块具有四个所述反卷积层。
进一步地，所述递归连接块具有第一通道和第二通道，所述第一通道由多个卷积层和最大池化层组成，各个卷积层逐一递进连接且每个卷积层的输入为位于该卷积层前面的所有卷积层的输出结果的叠加，最后一个卷积层的输出端连接至所述最大池化层；所述第二通道由下采样层和多个卷积层组成，所述下采样层的输出端连接至第一个卷积层的输入端，各个卷积层逐一递进连接且每个卷积层的输入为位于该卷积层前面的所有卷积层的输出结果的叠加，所述第一通道的输出结果与所述第二通道的输出结果进行叠加后输出；其中，卷积层包括二维卷积、批量正则化和修正线性单元三个连续操作。
进一步地，所述第一通道和所述第二通道均含有四个卷积层。
本发明的目的之二采用如下技术方案实现：
一种计算机可读存储介质，所述计算机可读存储介质存储有可执行计算机程序，所述计算机程序运行时实现上述的基于多层递归连接式卷积神经网络的图像分割方法。
相比现有技术，本发明的有益效果在于：
构建多层递归连接式卷积神经网络模型，采用多个重复递归连接网络单元的反复学习，提高对图像像素点的分类的准确性，以达到更高精度的图像分割效果；而且，递归连接单元中引入了残差块，递归连接块的输出经过残差块的处理之后的输出结果再与对应的反卷积层的输出结果进行叠加，通过这种方式增强特征的复用从而进一步提高图像分割精度；此外，递归连接块采取迭代连接的方式，进一步增强特征的复用，减轻梯度弥散。采用该多层递归连接式卷积神经网络进行图像语义分割时，平均精度可达92％，优于传统的U-Net网络和DenseNet网络。
附图说明
图1为本发明提供的一种基于多层递归连接式卷积神经网络的图像分割方法的流程图；
图2为本发明提供的一种多层递归连接式卷积神经网络的结构图；
图3为本发明提供的一种递归连接网络单元的结构图；
图4为本发明提供的一种递归连接块的结构图；
图5为本发明提供的多层递归连接式卷积神经网络与其他卷积神经网络的图像分割效果对比图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
请参阅图1至图4，一种基于多层递归连接式卷积神经网络的图像分割方法，图像分割方法具体包括以下步骤：
S1、构建多层递归连接式卷积神经网络；
S2、对原始图像进行预处理；
S3、利用多层递归连接式卷积神经网络对预处理之后的原始图像进行图像语义分割处理；
S4、得到已分割好的图像；
其中，步骤S1中所构建的多层递归连接式卷积神经网络由多个重复的递归连接网络单元(Recursive Connected Network，简写为RCN)逐一连接构成。
作为一种优选的实施方式，所述递归连接网络单元包含收缩模块和扩张模块；
所述收缩模块由多个递归连接块(Recursive Connected Block，简写为RCB)逐一递进连接而构成；所述扩张模块由多个重复的反卷积层组成，所述收缩模块中的最后一个递归连接块与所述扩张模块中的第一个反卷积层连接，每一个反卷积层的输出结果与所述收缩模块中对应步骤的递归连接块的经过残差块之后的输出结果进行叠加(叠加指“Concatenation”操作)之后再输入到下一个反卷积层中，最后一个反卷积层的输出端为该递归连接单元的输出端。
使用上述的多层递归连接式卷积神经网络进行图像语义分割，输入原始图像，原始图像经过该多层递归连接式卷积神经网络的深度学习之后，即可将原始图像中的所有像素点进行分类，标注出图像中每一个像素点的语义类别信息，进而实现对图像的语义分割操作。
作为一种优选的实施方式，收缩模块具有四个递归连接块，扩张模块具有四个反卷积层。
作为一种优选的实施方式，递归连接块具有第一通道和第二通道，第一通道由多个卷积层和最大池化层组成，各个卷积层逐一递进连接且每个卷积层的输入为位于该卷积层前面的所有卷积层的输出结果的叠加，最后一个卷积层的输出端连接至最大池化层；第二通道由下采样层和多个卷积层组成，下采样层的输出端连接至第一个卷积层的输入端，各个卷积层逐一递进连接且每个卷积层的输入为位于该卷积层前面的所有卷积层的输出结果的叠加，第一通道的输出结果与第二通道的输出结果进行叠加后输出；其中，卷积层包括二维卷积(Convolution)、批量正则化(Batch Normalization)和修正线性单元(ReLU)三个连续操作。
作为一种优选的实施方式，第一通道和所述第二通道均含有四个卷积层。
本发明的多层递归连接式卷积神经网络采用多个重复递归连接网络单元的反复学习，提高对图像像素点的分类的准确性，以达到更高精度的图像分割效果；而且，递归连接单元中引入了残差块，递归连接块的输出经过残差块的处理之后的输出结果再与对应的反卷积层的输出结果进行叠加，通过这种方式增强特征的复用从而进一步提高图像分割精度；此外，递归连接块采取迭代连接的方式，进一步增强特征的复用，减轻梯度弥散。采用该多层递归连接式卷积神经网络进行图像语义分割时，平均精度AP(Average Precision，平均精度为领域内图像分割性能评估的主要指标之一，其定义及计算方法为本领域的公知常识，在此不再赘述。)可达92％，而传统的U-Net网络和DenseNet网络的平均精度AP分别为79％和85％。
如图5所示，其为本发明提供多层递归连接式卷积神经网络与传统的U-Net网络及DenseNet网络的图像分割效果对比图。从图中可看出，使用本发明的多层递归连接式卷积神经网络(RCN+RCB)的分割效果远好于U-Net网络和DenseNet网络。
此外，本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有可执行计算机程序，计算机程序运行时实现上述的基于多层递归连接式卷积神经网络的图像分割方法。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (6)

1.一种图像分割方法，其特征在于，所述图像分割方法基于多层递归连接式卷积神经网络的基础上进行，具体包括以下步骤：
构建多层递归连接式卷积神经网络；
对原始图像进行预处理；
利用所述多层递归连接式卷积神经网络对预处理之后的所述原始图像进行图像语义分割处理；
得到已分割好的图像；
其中，所构建的多层递归连接式卷积神经网络由多个重复的递归连接网络单元逐一连接形成。
2.如权利要求1所述的图像分割方法，其特征在于，所述递归连接网络单元包含收缩模块和扩张模块；
所述收缩模块由多个递归连接块逐一递进连接而构成；所述扩张模块由多个重复的反卷积层组成，所述收缩模块中的最后一个递归连接块与所述扩张模块中的第一个反卷积层连接，每一个反卷积层的输出结果与所述收缩模块中对应步骤的递归连接块的经过残差块之后的输出结果进行叠加之后再输入到下一个反卷积层中，最后一个反卷积层的输出端为该递归连接单元的输出端。
3.如权利要求2所述的图像分割方法，其特征在于，所述收缩模块具有四个所述递归连接块，所述扩张模块具有四个所述反卷积层。
4.如权利要求2或3任一项所述的图像分割方法，其特征在于，所述递归连接块具有第一通道和第二通道；
所述第一通道由多个卷积层和最大池化层组成，各个卷积层逐一递进连接且每个卷积层的输入为位于该卷积层前面的所有卷积层的输出结果的叠加，最后一个卷积层的输出端连接至所述最大池化层；
所述第二通道由下采样层和多个卷积层组成，所述下采样层的输出端连接至第一个卷积层的输入端，各个卷积层逐一递进连接且每个卷积层的输入为位于该卷积层前面的所有卷积层的输出结果的叠加；
所述第一通道的输出结果与所述第二通道的输出结果进行叠加后输出；
其中，卷积层包括二维卷积、批量正则化和修正线性单元三个连续操作。
5.如权利要求4所述的图像分割方法，其特征在于，所述第一通道和所述第二通道均含有四个卷积层。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有可执行计算机程序，所述计算机程序运行时实现如权利要求1至5任一项所述的图像分割方法。
CN201810240429.6A 2018-03-22 2018-03-22 一种图像分割方法及存储介质 Pending CN108830854A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810240429.6A CN108830854A (zh) 2018-03-22 2018-03-22 一种图像分割方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810240429.6A CN108830854A (zh) 2018-03-22 2018-03-22 一种图像分割方法及存储介质

Publications (1)

Publication Number Publication Date
CN108830854A true CN108830854A (zh) 2018-11-16

Family

ID=64154255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810240429.6A Pending CN108830854A (zh) 2018-03-22 2018-03-22 一种图像分割方法及存储介质

Country Status (1)

Country Link
CN (1) CN108830854A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614991A (zh) * 2018-11-19 2019-04-12 成都信息工程大学 一种基于Attention的多尺度扩张性心肌的分割分类方法
CN109785334A (zh) * 2018-12-17 2019-05-21 深圳先进技术研究院 心脏磁共振图像分割方法、装置、终端设备及存储介质
CN110151181A (zh) * 2019-04-16 2019-08-23 杭州电子科技大学 基于递归残差u型网络的快速磁共振成像方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530320A (zh) * 2016-09-30 2017-03-22 深圳大学 一种端到端的图像分割处理方法及系统
CN107180430A (zh) * 2017-05-16 2017-09-19 华中科技大学 一种适用于语义分割的深度学习网络构建方法及系统
CN107527351A (zh) * 2017-08-31 2017-12-29 华南农业大学 一种融合fcn和阈值分割的哺乳母猪图像分割方法
CN107610141A (zh) * 2017-09-05 2018-01-19 华南理工大学 一种基于深度学习的遥感图像语义分割方法
CN107680611A (zh) * 2017-09-13 2018-02-09 电子科技大学 基于卷积神经网络的单通道声音分离方法
CN107679539A (zh) * 2017-09-18 2018-02-09 浙江大学 一种基于局部感知野的单卷积神经网络局部信息与全局信息整合方法
US20180061058A1 (en) * 2016-08-26 2018-03-01 Elekta, Inc. Image segmentation using neural network method
EP3291146A1 (en) * 2016-09-05 2018-03-07 Fujitsu Limited Knowledge extraction from a convolutional neural network

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180061058A1 (en) * 2016-08-26 2018-03-01 Elekta, Inc. Image segmentation using neural network method
EP3291146A1 (en) * 2016-09-05 2018-03-07 Fujitsu Limited Knowledge extraction from a convolutional neural network
CN106530320A (zh) * 2016-09-30 2017-03-22 深圳大学 一种端到端的图像分割处理方法及系统
CN107180430A (zh) * 2017-05-16 2017-09-19 华中科技大学 一种适用于语义分割的深度学习网络构建方法及系统
CN107527351A (zh) * 2017-08-31 2017-12-29 华南农业大学 一种融合fcn和阈值分割的哺乳母猪图像分割方法
CN107610141A (zh) * 2017-09-05 2018-01-19 华南理工大学 一种基于深度学习的遥感图像语义分割方法
CN107680611A (zh) * 2017-09-13 2018-02-09 电子科技大学 基于卷积神经网络的单通道声音分离方法
CN107679539A (zh) * 2017-09-18 2018-02-09 浙江大学 一种基于局部感知野的单卷积神经网络局部信息与全局信息整合方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GUOSHENG LIN等: "RefineNet：Multi-path refinement networks for high-resolution semantic segmentation", 《COMPUTER VISION AND PATTERN RECOGNITION》 *
MD ZAHANGIR ALOM,MAHMUDUL HASAN, CHRIS YAKOPCIC, TAREK M. TAHA,: "Recurrent Residual Convolutional Neural Network based on U-Net (R2U-Net) for Medical Image Segmentation", 《COMPUTER VISION AND PATTERN RECOGNITION》 *
OLAF RONNEBERGER, PHILIPP FISCHER, AND THOMAS BROX: "U-Net: Convolutional Networks for Biomedical Image Segmentation", 《MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION – MICCAI 2015》 *
张靖: "基于卷积神经网络的图像拷贝检测研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
韦鹏飞: "基于改进CNN的人脸检测和识别技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614991A (zh) * 2018-11-19 2019-04-12 成都信息工程大学 一种基于Attention的多尺度扩张性心肌的分割分类方法
CN109785334A (zh) * 2018-12-17 2019-05-21 深圳先进技术研究院 心脏磁共振图像分割方法、装置、终端设备及存储介质
CN110151181A (zh) * 2019-04-16 2019-08-23 杭州电子科技大学 基于递归残差u型网络的快速磁共振成像方法
CN110151181B (zh) * 2019-04-16 2022-07-19 杭州电子科技大学 基于递归残差u型网络的快速磁共振成像方法

Similar Documents

Publication Publication Date Title
CN108764317A (zh) 一种基于多路特征加权的残差卷积神经网络图像分类方法
CN110660062B (zh) 一种基于PointNet的点云实例分割方法及系统
CN107480707B (zh) 一种基于信息无损池化的深度神经网络方法
CN109509149A (zh) 一种基于双通道卷积网络特征融合的超分辨率重建方法
CN108830854A (zh) 一种图像分割方法及存储介质
CN110889416B (zh) 一种基于级联改良网络的显著性物体检测方法
CN107967516A (zh) 一种基于迹范数约束的神经网络的加速与压缩方法
CN113761221B (zh) 基于图神经网络的知识图谱实体对齐方法
CN107679539B (zh) 一种基于局部感知野的单卷积神经网络局部信息与全局信息整合方法
CN110489507A (zh) 确定兴趣点相似度的方法、装置、计算机设备和存储介质
CN108460056A (zh) 一种dxf文件有效图元转换json数据的方法
Li et al. Pruning-as-search: Efficient neural architecture search via channel pruning and structural reparameterization
CN110197217A (zh) 一种基于深度交错融合分组卷积网络的图像分类方法
CN109146792A (zh) 基于深度学习的芯片图像超分辨率重建方法
CN113111889A (zh) 用于边缘计算端的目标检测网络处理方法
CN104572872B (zh) 一种基于极值的数据去重分块方法
CN108960335A (zh) 一种基于大规模网络进行高效聚类方法
CN115830575A (zh) 一种基于Transformer与跨维度注意力的交通标志检测方法
CN110992320B (zh) 一种基于双重交错的医学图像分割网络
CN104616027A (zh) 一种非相邻的图结构稀疏人脸识别方法
CN108648196A (zh) 基于递归连接式卷积神经网络的图像分割方法及存储介质
Lin et al. Full-scale selective transformer for semantic segmentation
CN116109753A (zh) 三维云渲染引擎平台及数据处理方法
CN112257852B (zh) 用于点云分类分割的方法
CN116150401A (zh) 基于带噪声数据集的强鲁棒性知识图谱三元组质检网络模型训练方法及质检方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20221209

AD01 Patent right deemed abandoned