CN107784654A - 图像分割方法、装置及全卷积网络系统 - Google Patents

图像分割方法、装置及全卷积网络系统 Download PDF

Info

Publication number
CN107784654A
CN107784654A CN201610734168.4A CN201610734168A CN107784654A CN 107784654 A CN107784654 A CN 107784654A CN 201610734168 A CN201610734168 A CN 201610734168A CN 107784654 A CN107784654 A CN 107784654A
Authority
CN
China
Prior art keywords
porous
convolution
network
image
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610734168.4A
Other languages
English (en)
Other versions
CN107784654B (zh
Inventor
孙海鸣
谢迪
浦世亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201610734168.4A priority Critical patent/CN107784654B/zh
Publication of CN107784654A publication Critical patent/CN107784654A/zh
Application granted granted Critical
Publication of CN107784654B publication Critical patent/CN107784654B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6217Design or setup of recognition systems and techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06K9/6256Obtaining sets of training patterns; Bootstrap methods, e.g. bagging, boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6267Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computer systems based on biological models
    • G06N3/02Computer systems based on biological models using neural network models
    • G06N3/04Architectures, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computer systems based on biological models
    • G06N3/02Computer systems based on biological models using neural network models
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computer systems based on biological models
    • G06N3/02Computer systems based on biological models using neural network models
    • G06N3/08Learning methods
    • G06N3/084Back-propagation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/143Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Abstract

本发明实施例提供了一种图像分割方法、装置及全卷积网络系统。其中,所述方法包括:获得待处理的目标图像;获得目标图像的图像特征数据;将图像特征数据输入至预先训练得到的用于图像分割的目标网络中,得到输出结果;目标网络为包括混合上下文网络结构的全卷积网络,所述混合上下文网络结构用于将自身所提取的多个具有预定尺度范围的参考特征融合为目标特征,目标特征为与所分割图像中目标对象的尺度范围相匹配的特征;目标网络通过具有不同尺度范围的目标对象的样本图像训练而成;基于输出结果,得到目标图像所对应的图像分割结果。通过本方案可以在保证大的感受野的前提下,提升对图像中不同尺度范围的目标对象的分割有效性。

Description

图像分割方法、装置及全卷积网络系统
技术领域
[0001] 本发明涉及机器视觉技术领域,特别是涉及图像分割方法、装置及全卷积网络系 统。
背景技术
[0002] 语义分割和场景标记等类型的图像分割在很多应用场景中都有着十分重要的作 用,例如图片理解、自动驾驶等应用场景,这样使得图像分割对于机器理解图像有着重要的 意义;其中,所谓的语义分割为:给定一张图像,对于图像中的像素做分类;所谓的场景标记 为:按照图像语义对图像中的区域进行标记。而近年来,全卷积网络为图像的语义分割和场 景标记带来了显著的性能提升,具体的,通过借助全卷积网络良好的分类性能,对图像中的 像素进行密集的类别预测,最后借助条件随机场一类的方法,综合预测最终结果。相关相关 技术中,用于图像分割的全卷积网络主要是由卷积层、池化层和激活层构成的网络,且全卷 积网络相对于卷积网络不存在全连接层。
[0003] 其中,全卷积网络中,大的感受野意味着更多的空间上下文信息被考虑,可以增加 预测准确性,所谓感受野为输出特征图的某个节点的响应对应的输入图像的区域。相关技 术中增大感受野的方式包括两种:其一,增加卷积核的大小,其二,增加池化层;其中,对于 第一种方式而言,会带来参数的膨胀,也就是需要被训练的参数过多,导致无法被正常训 练;而对于第二种方式而言,由于池化层的存在,使得网络中的特征图的空间尺寸随着网络 的加深而逐渐变小,导致分辨率变低,最终使得全卷积网络对于图像中的目标的边缘往往 预测结果不佳,如果增加池化层,无疑导致图像中小目标的预测精度下降。由于存在上述问 题,多孔卷积被提出,一定程度上解决了上述问题。其中,多孔卷积通过在卷积核中填充零 元素,达到了增大卷积核同时不会导致参数爆炸,而且,多孔卷积可以帮助移除网络中的部 分池化层,使得特征图随着网络的加深保持不变。这些优点,使得多孔卷积在图像分割应用 中得到广泛的应用。
[0004] 另外,在图像分割的具体应用中,图像中目标对象的尺度具有差异性,也就是说, 有非常大的目标,也有非常小的目标。而一个全卷积网络往往有其所适用的尺度范围,也就 是最适合处理哪个尺度范围的目标对象,举例而言:在多孔卷积中选择不同的膨胀系数,往 往会使得全卷积网络适用不同的尺度范围。并且,全卷积网络中,卷积操作提取的特征的尺 度范围,不但和卷积层的感受野成正比,同时也和该卷积层的膨胀系数成正比,而且,所提 取的特征的尺度如果较大,会导致尺度小的目标对象被忽略。因此,如何在保证大的感受野 的前提下,对图像中不同尺度范围的目标对象进行有效分割,是一个值得关注的问题,
[0005] 相关技术中,存在一种ASPP(Atrous spatial pyramid pooling)的结构的全卷积 网络,具体为:构建多个分支,每个分支由具有不同膨胀系数的多孔卷积构成,然后综合多 个分支的结果进行预测。但是,由于膨胀系数固定,最适合处理哪个尺度范围的目标对象也 即被确定了,导致所适用的目标对象被固定,自由度不够。
[0006] 可见,如何在保证大的感受野的前提下,提升对图像中不同尺度范围的目标对象 的分割有效性,是一个亟待解决的问题。
发明内容
[0007]本发明实施例的目的在于提供一种图像分割方法、装置及全卷积网络系统,以在 保证大的感受野的前提下,提升对图像中不同尺度范围的目标对象的分割有效性。具体技 术方案如下:
[0008 ]第一方面,本发明实施例提供了一种图像分割方法,包括:
[0009] 获得待处理的目标图像;
[0010] 获得所述目标图像的图像特征数据;
[0011] 将所述图像特征数据输入至预先训练得到的用于图像分割的目标网络中,得到输 出结果;其中,所述目标网络为包括混合上下文网络结构的全卷积网络,所述混合上下文网 络结构用于将自身所提取的多个具有预定尺度范围的参考特征融合为目标特征,所述目标 特征为与所分割图像中目标对象的尺度范围相匹配的特征;所述目标网络通过具有不同尺 度范围的目标对象的样本图像训练而成;
[0012] 基于所述输出结果,得到所述目标图像所对应的图像分割结果。
[0013] 可选的,所述混合上下文网络结构具体为非多孔卷积与多孔卷积相结合的卷积结 构。
[0014] 可选的,所述混合上下文网络结构包括:至少一个混合上下文组件;
[0015] 每一混合上下文组件均包括:多孔卷积分支、非多孔卷积分支、通道串联层和非多 孔卷积层,其中,所述多孔卷积分支和所述非多孔卷积分支分别对所在的混合上下文组件 的输入内容进行卷积处理,所述通道串联层将所述多孔卷积分支的卷积结果以及所述非多 孔卷积分支的卷积结果进行串联处理,所述非多孔卷积层对所述通道串联层的处理结果进 行卷积处理并将所得的卷积结果作为所在的混合上下文组件的输出内容进行输出。
[0016] 可选的,所述多孔卷积分支中包括至少一个多孔卷积,所述非多孔卷积中包括至 少一个非多孔卷积。
[0017] 可选的,所述混合上下文组件采用下述卷积公式对输入内容进行卷积处理:
[0018]
Figure CN107784654AD00061
[0019] 其中,F1表示第i层的输入特征图,F1+1表示第i层的输出特征图,Wk表示多孔卷积分 支和非多孔卷积分支的参数,bk表示多孔卷积分支和非多孔卷积分支的偏移项,Φ表示多孔 卷积分支和非多孔卷积分支的激活函数,c〇表示在通道坐标轴上串联所有的输入矩阵,W1 表示非多孔卷积层的参数,h表示非多孔卷积层的偏移项,炉表示非多孔卷积层的激活函 数。
[0020] 可选的,所述目标网络的训练过程为:
[0021 ]构建包括混合上下文网络结构的初始全卷积网络;
[0022] 获得各个样本图像的图像特征数据;
[0023] 将各个样本图像的图像特征数据输入至所述初始全卷积网络中进行训练;
[0024] 当各个训练样本所对应的输出结果均与相应图像分割真值的损失值低于预定阈 值时,训练过程结束,得到目标网络。
[0025] 第二方面,本发明实施例提供了一种图像分割装置,包括:
[0026] 目标图像获得模块,用于获得待处理的目标图像;
[0027] 图像特征数据获得模块,用于获得所述目标图像的图像特征数据;
[0028] 图像分割模块,用于将所述图像特征数据输入至预先训练得到的用于图像分割的 目标网络中,得到输出结果;其中,所述目标网络为包括混合上下文网络结构的全卷积网 络,所述混合上下文网络结构用于将自身所提取的多个具有预定尺度范围的参考特征融合 为目标特征,所述目标特征为与所分割图像中目标对象的尺度范围相匹配的特征;所述目 标网络通过具有不同尺度范围的目标对象的样本图像训练而成;
[0029] 结果获得模块,用于基于所述输出结果,得到所述目标图像所对应的图像分割结 果。
[0030] 可选的,所述混合上下文网络结构具体为非多孔卷积与多孔卷积相结合的卷积结 构。
[0031 ] 可选的,所述混合上下文网络结构包括:至少一个混合上下文组件;
[0032] 每一混合上下文组件均包括:多孔卷积分支、非多孔卷积分支、通道串联层和非多 孔卷积层,其中,所述多孔卷积分支和所述非多孔卷积分支分别对所在的混合上下文组件 的输入内容进行卷积处理,所述通道串联层将所述多孔卷积分支的卷积结果以及所述非多 孔卷积分支的卷积结果进行串联处理,所述非多孔卷积层对所述通道串联层的处理结果进 行卷积处理并将所得的卷积结果作为所在的混合上下文组件的输出内容进行输出。
[0033] 可选的,所述多孔卷积分支中包括至少一个多孔卷积,所述非多孔卷积中包括至 少一个非多孔卷积。
[0034] 可选的,所述混合上下文组件采用下述卷积公式对输入内容进行卷积处理:
[0035]
Figure CN107784654AD00071
[0036] 其中,F1表示第i层的输入特征图,F1+1表示第i层的输出特征图,Wk表示多孔卷积分 支和非多孔卷积分支的参数,bk表示多孔卷积分支和非多孔卷积分支的偏移项,Φ表示多孔 卷积分支和非多孔卷积分支的激活函数,c〇表示在通道坐标轴上串联所有的输入矩阵,W1 表示非多孔卷积层的参数,h表示非多孔卷积层的偏移项,炉表示非多孔卷积层的激活函 数。
[0037] 可选的,所述目标网络由训练模块训练而成,所述训练模块包括:
[0038] 构建单元,用于构建包括混合上下文网络结构的初始全卷积网络;
[0039] 特征数据获得单元,用于获得各个样本图像的图像特征数据;
[0040] 训练单元,用于将各个样本图像的图像特征数据输入至所述初始全卷积网络中进 行训练;
[0041] 判断单元,用于当各个训练样本所对应的输出结果均与相应图像分割真值的损失 值低于预定阈值时,训练过程结束,得到目标网络。
[0042] 第三方面,本发明实施例还提供了一种全卷积网络系统,包括:混合上下文网络结 构;
[0043] 所述混合上下文网络结构包括:至少一个混合上下文组件;
[0044] 每一混合上下文组件均包括:多孔卷积分支、非多孔卷积分支、通道串联层和非多 孔卷积层,其中,所述多孔卷积分支和所述非多孔卷积分支分别对所在的混合上下文组件 的输入内容进行卷积处理,所述通道串联层将所述多孔卷积分支的卷积结果以及所述非多 孔卷积分支的卷积结果进行串联处理,所述非多孔卷积层对所述通道串联层的处理结果进 行卷积处理并将所得的卷积结果作为所在的混合上下文组件的输出内容进行输出。
[0045] 可选的,所述多孔卷积分支中包括至少一个多孔卷积,所述非多孔卷积中包括至 少一个非多孔卷积。
[0046] 可选的,所述混合上下文组件采用下述卷积公式对输入内容进行卷积处理:
[0047]
Figure CN107784654AD00081
[0048] 其中,F1表示第i层的输入特征图,F1+1表示第i层的输出特征图,Wk表示多孔卷积分 支和非多孔卷积分支的参数,bk表示多孔卷积分支和非多孔卷积分支的偏移项,Φ表示多孔 卷积分支和非多孔卷积分支的激活函数,c〇表示在通道坐标轴上串联所有的输入矩阵,W1 表示非多孔卷积层的参数,h表示非多孔卷积层的偏移项,辦表示非多孔卷积层的激活函 数。
[0049] 本发明实施例中,用于图像分割的目标网络为具有混合上下文网络结构的全卷积 网络,该混合上下文网络结构能够将自身所提取的多个具有预定尺度范围的参考特征融合 为:与所分割图像中目标对象的尺度范围相匹配的特征,使得图像中的各个尺度范围的目 标对象均不被忽略,同时,感受野依赖具有最大膨胀系数的卷积,因此,通过本方案可以在 保证大的感受野的前提下,提升对图像中不同尺度范围的目标对象的分割有效性。
附图说明
[0050] 为了更清楚地说明本发明实施例或相关技术中的技术方案,下面将对实施例或相 关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本 发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以 根据这些附图获得其他的附图。
[0051 ]图1为本发明实施例所提供的一种图像分割方法的流程图;
[0052] 图2为本发明实施例所提供的混合上下文组件的结构示意图
[0053] 图3为本发明实施例所列举的用于分割图像的目标网络的示意图;
[0054] 图4为本发明实施例中目标网络的训练过程的流程图;
[0055] 图5为本发明实施例所提供的一种图像分割装置的结构示意图。
具体实施方式
[0056] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完 整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于 本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例,都属于本发明保护的范围。
[0057] 为了在保证大的感受野的前提下,提升对图像中不同尺度范围的目标对象的分割 有效性,本发明实施例提供了一种图像分割方法、装置及全卷积网络。其中,本发明实施例 所涉及的图像分割可以指:对图像的语义分割,或者,对图像的场景标记,可选地,还可以指 其他对图像中区域进行划分的方式,在此不做限定。
[0058] 下面首先对本发明实施例所提供的一种图像分割方法进行介绍。
[0059] 需要说明的是,本发明实施例所提供的一种图像分割方法的执行主体可以为一种 图像分割装置,其中,该图像分割装置可以为相关技术中图像处理软件中的功能插件,也可 以为独立的功能软件,这都是合理的;另外,该图像分割装置可以应用于电子设备中,该电 子设备可以包括终端设备或服务器设备,这也是合理的。
[0060] 如图1所示,本发明实施例所提供的一种图像分割方法,可以包括如下步骤:
[0061] SlOl,获得待处理的目标图像;
[0062] 其中,所谓的获得待处理的目标图像可以为:从本地获得待处理的目标图像,或 者,从网络中下载获得待处理的目标图像,等等,这都是合理的。并且,该目标图像中可以包 含不同尺度范围的目标对象,例如,该目标图像为路边摄像头所拍摄的监控图像,该目标图 像中包括属于近景的汽车和行人,还包括属于远景的小鸟,其中,该属于近景的汽车和行人 为大尺度范围的目标对象,该属于远景的小鸟为小尺度范围的目标对象。
[0063] 需要强调的是,大小尺度范围的设定是一个相对的概念,并不是指某个具体的尺 度范围;但是,对于现有技术中的全卷积网络而言,如果该网络善于处理尺度较大的目标对 象,通常就不适合处理尺度较小的目标对象,大小是相对的,举例而言:现有技术中的全卷 积网络A适合处理100*100像素的目标对象,那么10*10的目标对象就是小尺度范围的目标 对象,该小尺度范围的目标对象则会被该全卷积网络A忽略,类似的,如果全卷积网络B适合 处理1000*1000的目标对象时,100*100的目标对象可以被认为是小尺度范围的目标对象, 该小尺度范围的目标对象则会被该全卷积网络B忽略。也就是说,利用现有技术中的全卷积 网络的图像分割方法所适用的尺度范围具有局限性,而本发明实施例所提供的图像分割方 法利用包含混合上下文网络结构的目标网络,目的在于扩大所适用的尺度范围。
[0064] S102,获得该目标图像的图像特征数据;
[0065] 为了对目标图像进行图像分割,可以获得目标图像的图像特征数据,其中,该图像 特征数据能够唯一确定出该目标图像。
[0066] 具体的,该图像特征数据可以包括但不局限于颜色通道值,其中,对于RGB图像而 言,其颜色通道值为RGB通道值,RGB图像和RGB通道值中的“R”代表红色Red,“G”代表绿色 Green,“B”代表蓝色Blue。可以理解的是,该图像分割装置可以调用外部的颜色提取器提取 颜色通道值,也可以通过内置的程序代码自行提取颜色通道值,这都是合理的,其中,颜色 提取器为能够提取图像中像素点的颜色通道值的功能软件。
[0067] S103,将该图像特征数据输入至预先训练得到的用于图像分割的目标网络中,得 到输出结果;其中,该目标网络为包括混合上下文网络结构的全卷积网络,该混合上下文网 络结构用于将自身所提取的多个具有预定尺度范围的参考特征融合为目标特征,该目标特 征为与所分割图像中目标对象的尺度范围相匹配的特征;该目标网络通过具有不同尺度范 围的目标对象的样本图像训练而成;
[0068] 为了在保证大的感受野的前提下,提升对图像中不同尺度范围的目标对象的分割 有效性,预先训练得到用于图像分割的目标网络,该目标网络为包括混合上下文网络结构 的全卷积网络,也就是说,该目标网络属于全卷积网络,但是该目标网络在包括卷积层、池 化层和激活层的基础上,还额外增加有混合上下文网络结构,具体的,该混合上下文网络结 构用于将自身所提取的多个具有预定尺度范围的参考特征融合为目标特征,该目标特征为 与所分割图像中目标对象的尺度范围相匹配的特征。其中,卷积层用于进行卷积处理,池化 层用于进行上采样或下采用处理,激活层用于引入非线性因素,并且,对于一个全卷积网络 结构而言,可以仅仅具有一个激活层,而多个卷积层和池化层,并且,池化层和激活层位于 卷积层之后。
[0069] 可以理解的是,由于目标网络中增加有混合上下文网络结构,可以融合来自不同 尺度范围的特征图的特征,从而形成与所分割图像中目标对象的尺度范围相匹配的特征, 这样使得该目标网络能够通过对样本图像的学习,自动调节自身适应的尺度范围,需要强 调的是,在训练该目标网络时,可以利用具有不同尺度范围的目标对象的样本图像。为了布 局清楚,后续对该目标网络的训练过程进行介绍。
[0070] 在分割该目标图像的过程中,可以在获得该目标图像的图像特征数据后,将所获 得的该目标图像的图像特征数据作为输入内容输入至该目标网络中,得到输出结果。
[0071] 具体的,该混合上下文网络结构具体为非多孔卷积与多孔卷积相结合的卷积结 构。其中,多孔卷积为通过在卷积核中填充零元素来扩大卷积核的一种卷积,非多孔卷积 为:卷积核中未填充零元素以扩大卷积核的普通卷积。另外,需要强调的是,膨胀系数是和 多孔卷积相关的属性,普通卷积,即非多孔卷积的膨胀系数为1,如果在普通卷积的卷积核 的两个元素之间添加一个零,膨胀系数则为2,以此类推,添加N个零,膨胀系数则为(N+1)。
[0072] 在一种实现方式中,该混合上下文网络结构包括:至少一个混合上下文组件;
[0073] 如图2所示,每一混合上下文组件均包括:多孔卷积分支、非多孔卷积分支、通道串 联层和非多孔卷积层,其中,该多孔卷积分支和该非多孔卷积分支分别对所在的混合上下 文组件的输入内容进行卷积处理,该通道串联层将该多孔卷积分支的卷积结果以及该非多 孔卷积分支的卷积结果进行串联处理,该非多孔卷积层对该通道串联层的处理结果进行卷 积处理并将所得的卷积结果作为所在的混合上下文组件的输出内容进行输出。
[0074] 需要强调的是,该混合上下文组件的输入可以是任何一个特征图,然后该特征图 分别经过多孔卷积分支和非多孔卷积分支的卷积处理,在并行的卷积处理过程中,分别提 取不同的预定尺度范围的特征,预定尺度范围受膨胀系数影响,然后,通过通道串联层和非 多孔卷积层的处理,实现从不同的预定尺度范围的特征中筛选出新尺度范围的特征作为输 出,该新尺度范围的特征为与所分割图像中目标对象的尺度范围相匹配的特征。
[00M]本领域技术人员可以理解的是,对于相关技术中的全卷积网络而言,其某一个卷 积层的卷积核的膨胀系数是固定的,随着感受野的增大,其卷积核提取的特征的尺度范围 也随着变大,如下的公式(1)表示一个卷积层,
[0076]
Figure CN107784654AD00101
[0077] 其中,W1表示第i层的卷积核参数,F1表示第i层的输入特征图,F1+1表示第i层的输 出特征图,h表示偏移项
Figure CN107784654AD00102
表示激活函数,其中,W1中的所有卷积核都是同样大小,同样膨 胀系数的。
[0078] 而对于混合上下文网络结构而言,如果将一个混合上下文组件看作为一个卷积 层,那么,该混合上下文组件采用如下卷积公式(2)进行卷积处理:
[0079]
Figure CN107784654AD00103
[0080] 其中,F1表示第i层的输入特征图,F1+1表示第i层的输出特征图,Wk表示多孔卷积分 支和非多孔卷积分支的参数,bk表示多孔卷积分支和非多孔卷积分支的偏移项,Φ表示多孔 卷积分支和非多孔卷积分支的激活函数,c〇表示在通道坐标轴上串联所有的输入矩阵,W1 表示非多孔卷积层的参数,1^表示非多孔卷积层的偏移项,P表示非多孔卷积层的激活函 数。其中,C具体是让两个四维的矩阵,在第二个维度上连接起来,变成一个矩阵,举例而言, n*cl*h*w的矩阵和n*c2*h*w的矩阵合并起来,变成n*(cl+c2)*h*w。另外,需要强调的是,F 表示特征图,是一个矩阵,而感受野是指特征图中的一个元素对应到原图有多大的区域,感 受野可以看作为是这个特征图的一个属性。
[0081] 具体的,Wi的卷积核大小可以为UWk既可以是一个多孔卷积也可以是一个非多孔 卷积。可以理解的是,卷积提取的特征的尺度范围和卷积的膨胀系数是成正比的,也就是 说,提供给1筛选的特征中,既有大尺度的特征,也有小尺度的特征。
[0082] 可以理解的是,F1+1的感受野依赖具有最大膨胀系数的卷积。也就是说,F1+1可以具 有较大的感受野的同时,根据所输入图像的尺度范围选择来输出大尺度的特征或者小尺度 的特征,或者它们的混合物,即输出所分割图像中目标对象的尺度范围相匹配的特征,而不 是像相关技术中全卷积网络,只能输出某一个尺度的特征。这无疑给了目标网络更大的自 由度,目标网络可以从指定的样本图像中学习到什么样的尺度组合是最好的。
[0083] 可以理解的是,该多孔卷积分支中包括至少一个多孔卷积,该非多孔卷积中包括 至少一个非多孔卷积。并且,当混合上下文网络结构包括至少两个混合上下文组件时,该至 少两个混合上下文组件串联相接。另外,可以理解的是,当该混合上下文网络结构包括多个 多孔卷积分支时,该混合上下文网络结构中必然存在多个多孔卷积,而当该混合上下文网 络结构中的任一多孔卷积分支中包括多个多孔卷积时,该混合上下文网络结构中也会存在 多个多孔卷积;进一步的,当混合上下文网络结构中存在多个多孔卷积时,多个多孔卷积的 膨胀系数可以根据实际情况进行设定,本发明实施例对此不做限定。
[0084] 需要强调的是,在具体应用时,该混合上下文网络结构可以设置在整个目标网络 的后半段,当然并不局限于此,而由于整个网络形态的复杂和多样化,对于该混合上下文网 络结构在网络中的具体位置,本发明实施例不做限定。可以理解的是,对于本发明实施例所 提供的包含上下文混合网络结构的目标网络而言,从功能的角度,可以被划分为三个部分, 第一部分为分类预测模块,第二部分为上下文综合判断模块,第三部分为修正模块,其中, 混合上下文网络结构即为该上下文综合判断模块;具体的,分类预测模块用于对特征图中 像素点所属的类别进行初步预测,上下文综合判断模块用于在分类预测模块的基础上基于 更多的上下文信息来进行分类,而修正模块用于在上下文综合判断模块的输出结果的基础 上来基于更加细节的信息修正边缘和小目标对象。
[0085] 举例而言:在如图3所示的目标网络的一种结构示意图中,混合上下文网络结构包 括5个混合上下文组件,每个混合上下文组件中的多孔卷积分支包括一个多孔卷积,非多孔 卷分支包括一个非多孔卷积,另外,222*224,112*112等为特征图的大小,通过特征图的大 小值体现特征图的空间尺寸在网络运行中的改变。需要强调的是,图3的左半边为上述的分 类预测模块所对应的分类预测流程,并且,由于该分类预测流程所对应的具体网络结构是 一个由分类网络转化而来的FCN网络,且该分类网络可以是已存在的任一主流的分类网络, 因此,图3中仅仅给出了特征图的示意,以从对特征图的处理的角度来来介绍具体的分类预 测过程,其中,FCN网络为Fully Convolutional Networks,FCN网络将传统卷积神经网络的 全连接层转化成一个个的卷积层,该FCN网络试图从抽象的特征中恢复出每个像素所属的 类别,即从图像级别的分类进一步延伸到像素级别的分类。
[0086] S104,基于该输出结果,得到该目标图像所对应的图像分割结果。
[0087] 在得到输出结果后,可以基于该输出结果,得到该目标图像所对应的图像分割结 果。可以理解的是,该目标网络的输出结果为某些特征数据,可以根据这些特征数据生成该 目标图像所对应的图像分割结果。
[0088] 本发明实施例中,用于图像分割的目标网络为具有混合上下文网络结构的全卷积 网络,该混合上下文网络结构能够将自身所提取的多个具有预定尺度范围的参考特征融合 为:与所分割图像中目标对象的尺度范围相匹配的特征,使得图像中的各个尺度范围的目 标对象均不被忽略,同时,感受野依赖具有最大膨胀系数的卷积,因此,通过本方案可以在 保证大的感受野的前提下,提升对图像中不同尺度范围的目标对象的分割有效性。
[0089] 为了方案清楚,下面介绍该目标网络的训练过程。
[0090] 具体的,如图4所示,所述目标网络的训练过程可以为:
[0091 ] S201,构建包括混合上下文网络结构的初始全卷积网络;
[0092] 所谓构建包括混合上下文网络结构的初始全卷积网络即为构建一个包含混合上 下文网络结构的全卷积网络,该全卷积网络中所涉及的多孔卷积和非多孔卷积的膨胀系数 在构建目标网络时被设置完成。
[0093] 需要强调的是,该初始全卷积网络为需要被训练的网络结构,也即参数未被训练 得到的目标网络;并且,该初始全卷积网络中还包括卷积层、激活层、池化层,其中,混合上 下文网络结构在初始全卷积网络中的具体位置可以根据实际情况自行设定,该初始全卷积 网络中的卷积层、激活层和池化层的数量以及位置关系,可以根据实际情况设定。可选地, 所构建的该初始全卷积网络中的卷积层、激活层和池化层之间的位置关系可以遵循现有的 设计原则,举例而言:池化层和激活层在卷积层之后。S202,获得各个样本图像的图像特征 数据;
[0094] 其中,样本图像的图像特征数据可以包括但不局限于颜色通道值,其中,对于RGB 图像而言,其颜色通道值为RGB通道值;可选地,所获得的样本图像的图像特征数据与前述 的获得目标图像的图像特征数据的类型相同。S203,将各个样本图像的图像特征数据输入 至初始全卷积网络中进行训练;
[0095] S204,当各个训练样本所对应的输出结果均与相应图像分割真值的损失值低于预 定阈值时,训练过程结束,得到目标网络。
[0096] 在获得各个样本图像的图像特征数据后,可以将各个样本图像的图像特征数据作 为输入内容输入至初始全卷积网络中进行训练,并且,可以实时检测各个训练样本所对应 的输出结果均与相应图像分割真值的损失值是否低于预定阈值,当各个训练样本所对应的 输出结果均与相应图像分割真值的损失值低于预定阈值时,训练过程结束,得到目标网络, 其中,每一样本图像对应的图像分割真值通过人工标注得到,且图像分割真值具体指样本 图像被图像分割后的图像数据。
[0097] 另外,需要说明的是,当各个训练样本所对应的输出结果与相应图像分割真值的 损失值低于预定阈值时,可以利用优化算法对该初始全卷积网络进行网络优化。具体的,所 谓优化指调整该初始全卷积网络中的参数,举例而言,卷积的卷积核和步长等等。另外,对 该初始全卷积网络进行网络优化所采用的优化算法可以采用梯度下降法,其中,梯度下降 法的基本处理思想为沿梯度下降的方向求解极小值(也可以沿梯度上升方向求解极大值), 具体的梯度下降法可以包括但不局限于SGD(stochastic gradient descent,随机梯度下 降)算法或Mini批梯度算法。
[0098] 相应于上述方法实施例,本发明实施例还提供了一种图像分割装置。
[0099] 如图5所示,本发明实施例所提供的一种图像分割装置,可以包括:
[0100] 目标图像获得模块310,用于获得待处理的目标图像;
[0101] 图像特征数据获得模块320,用于获得该目标图像的图像特征数据;
[0102] 图像分割模块330,用于将该图像特征数据输入至预先训练得到的用于图像分割 的目标网络中,得到输出结果;其中,该目标网络为包括混合上下文网络结构的全卷积网 络,该混合上下文网络结构用于将自身所提取的多个具有预定尺度范围的参考特征融合为 目标特征,该目标特征为与所分割图像中目标对象的尺度范围相匹配的特征;该目标网络 通过具有不同尺度范围的目标对象的样本图像训练而成;
[0103] 结果获得模块340,用于基于该输出结果,得到该目标图像所对应的图像分割结 果。
[0104] 本发明实施例中,用于图像分割的目标网络为具有混合上下文网络结构的全卷积 网络,该混合上下文网络结构能够将自身所提取的多个具有预定尺度范围的参考特征融合 为:与所分割图像中目标对象的尺度范围相匹配的特征,使得图像中的各个尺度范围的目 标对象均不被忽略,同时,感受野依赖具有最大膨胀系数的卷积,因此,通过本方案可以在 保证大的感受野的前提下,提升对图像中不同尺度范围的目标对象的分割有效性。
[0105] 具体的,该混合上下文网络结构具体为非多孔卷积与多孔卷积相结合的卷积结 构。
[0106] 在一种具体实现方式中,该混合上下文网络结构可以包括:至少一个混合上下文 组件;
[0107] 每一混合上下文组件均包括:多孔卷积分支、非多孔卷积分支、通道串联层和非多 孔卷积层,其中,该多孔卷积分支和该非多孔卷积分支分别对所在的混合上下文组件的输 入内容进行卷积处理,该通道串联层将该多孔卷积分支的卷积结果以及该非多孔卷积分支 的卷积结果进行串联处理,该非多孔卷积层对该通道串联层的处理结果进行卷积处理并将 所得的卷积结果作为所在的混合上下文组件的输出内容进行输出。
[0108] 具体的,该多孔卷积分支中包括至少一个多孔卷积,该非多孔卷积中包括至少一 个非多孔卷积。
[0109] 具体的,该混合上下文组件采用下述卷积公式对输入内容进行卷积处理:
[0110]
Figure CN107784654AD00131
[0111] 其中,F1表示第i层的输入特征图,F1+1表示第i层的输出特征图,Wk表示多孔卷积分 支和非多孔卷积分支的参数,bk表示多孔卷积分支和非多孔卷积分支的偏移项,Φ表示多孔 卷积分支和非多孔卷积分支的激活函数,c〇表示在通道坐标轴上串联所有的输入矩阵,W1 表示非多孔卷积层的参数,h表示非多孔卷积层的偏移项,口表示非多孔卷积层的激活函 数。
[0112] 具体的,该目标网络由训练模块训练而成,该训练模块包括:
[0113] 构建单元,用于构建包括混合上下文网络结构的初始全卷积网络;
[0114]特征数据获得单元,用于获得各个样本图像的图像特征数据;
[0115]训练单元,用于将各个样本图像的图像特征数据输入至该初始全卷积网络中进行 训练;
[0116] 判断单元,用于当各个训练样本所对应的输出结果均与相应图像分割真值的损失 值低于预定阈值时,训练过程结束,得到目标网络。
[0117] 本发明实施例还提供了一种全卷积网络系统,可以应用于图像分割,当然并不局 限与此。具体的,该全卷积网络系统包括:混合上下文网络结构;
[0118] 该混合上下文网络结构包括:至少一个多个混合上下文组件;
[0119] 每一混合上下文组件均包括:多孔卷积分支、非多孔卷积分支、通道串联层和非多 孔卷积层,其中,该多孔卷积分支和该非多孔卷积分支分别对所在的混合上下文组件的输 入内容进行卷积处理,该通道串联层将该多孔卷积分支的卷积结果以及该非多孔卷积分支 的卷积结果进行串联处理,该非多孔卷积层对该通道串联层的处理结果进行卷积处理并将 所得的卷积结果作为所在的混合上下文组件的输出内容进行输出。
[0120] 需要强调的是,本发明实施例所提供的全卷积网络为:在包括卷积层、池化层和激 活层的同时还包括有混合上下文网络结构的网络结构。
[0121] 其中,混合上下文组件的结构可以参见图2所示。并且,当混合上下文网络结构所 包括的混合上下文组件为至少两个时,该至少两个混合上下文组件串联相接。
[0122] 可以理解的是,由于全卷积网络增加有混合上下文网络结构,可以融合来自不同 尺度范围的特征图的特征,从而形成与所分割图像中目标对象的尺度范围相匹配的特征, 这样使得该目标网络能够通过对样本图像的学习,自动调节自身适应的尺度范围,其中,在 训练该全卷积网络时,可以利用具有不同尺度范围的目标对象的样本图像。
[0123] 需要强调的是,该混合上下文组件的输入可以是任何一个特征图,然后该特征图 分别经过多孔卷积分支和非多孔卷积分支的卷积处理,在并行的卷积处理过程中,分别提 取不同的预定尺度范围的特征,预定尺度范围受膨胀系数影响,然后,通过通道串联层和非 多孔卷积层的处理,实现从不同的预定尺度范围的特征中筛选出新尺度范围的特征作为输 出,该新尺度范围的特征为与所分割图像中目标对象的尺度范围相匹配的特征。
[0124] 在具体应用时,该混合上下文网络结构可以设置在整个目标网络的后半段,当然 并不局限于此,而由于整个网络形态的复杂和多样化,对于该混合上下文网络结构在网络 中的具体位置,本发明实施例不做限定。可以理解的是,对于本发明实施例所提供的包含上 下文混合网络结构的目标网络而言,从功能的角度,可以被划分为三个部分,第一部分为分 类预测模块,第二部分为上下文综合判断模块,第三部分为修正模块,其中,混合上下文网 络结构即为该上下文综合判断模块;具体的,分类预测模块用于对特征图中像素点所属的 类别进行初步预测,上下文综合判断模块用于在分类预测模块的基础上基于更多的上下文 信息来进行分类,,而修正模块用于在上下文综合判断模块的输出结果的基础上来基于更 加细节的信息修正边缘和小目标对象。举例而言:在如图3所示的目标网络的一种结构示意 图中,混合上下文网络结构包括5个混合上下文组件,每个混合上下文组件中的多孔卷积分 支包括一个多孔卷积,非多孔卷分支包括一个非多孔卷积,另外,222*224,112*112等为特 征图的大小,通过特征图的大小值体现特征图的空间尺寸在网络运行中的改变。需要强调 的是,图3的左半边为上述的分类预测模块所对应的分类预测流程,并且,由于该分类预测 流程所对应的具体网络结构是一个由分类网络转化而来的FCN网络,且该分类网络可以是 已存在的任一主流的分类网络,因此,图3中仅仅给出了特征图的示意,以从对特征图的处 理的角度来来介绍具体的分类预测过程,其中,FCN网络为Ful Iy Convolutional NetW〇rkS,FCN网络将传统卷积神经网络的全连接层转化成一个个的卷积层,该FCN网络试 图从抽象的特征中恢复出每个像素所属的类别,即从图像级别的分类进一步延伸到像素级 别的分类。
[0125] 本发明实施例中,用于图像分割的目标网络为具有混合上下文网络结构的全卷积 网络,该混合上下文网络结构能够将自身所提取的多个具有预定尺度范围的参考特征融合 为:与所分割图像中目标对象的尺度范围相匹配的特征,使得图像中的各个尺度范围的目 标对象均不被忽略,同时,感受野依赖具有最大膨胀系数的卷积,因此,通过本方案可以在 保证大的感受野的前提下,提升对图像中不同尺度范围的目标对象的分割有效性。
[0126] 具体的,该多孔卷积分支中包括至少一个多孔卷积,该非多孔卷积中包括至少一 个非多孔卷积。另外,可以理解的是,当该混合上下文网络结构包括多个多孔卷积分支时, 该混合上下文网络结构中必然存在多个多孔卷积,而当该混合上下文网络结构中的任一多 孔卷积分支中包括多个多孔卷积时,该混合上下文网络结构中也会存在多个多孔卷积;进 一步的,当混合上下文网络结构中存在多个多孔卷积时,多个多孔卷积的膨胀系数可以根 据实际情况进行设定,本发明实施例对此不做限定。
[0127] 具体的,该混合上下文组件采用下述卷积公式对输入内容进行卷积处理:
[0128]
Figure CN107784654AD00151
[0129] 其中,F1表示第i层的输入特征图,F1+1表示第i层的输出特征图,Wk表示多孔卷积分 支和非多孔卷积分支的参数,bk表示多孔卷积分支和非多孔卷积分支的偏移项,Φ表示多孔 卷积分支和非多孔卷积分支的激活函数,c〇表示在通道坐标轴上串联所有的输入矩阵,W1 表示非多孔卷积层的参数,h表示非多孔卷积层的偏移项,表示非多孔卷积层的激活函
Figure CN107784654AD00152
数。其中,c具体是让两个四维的矩阵,在第二个维度上连接起来,变成一个矩阵,举例而言, n*cl*h*w的矩阵和n*c2*h*w的矩阵合并起来,变成n*(cl+c2)*h*w。另外,需要强调的是,F 表示特征图,是一个矩阵,而感受野是指特征图中的一个元素对应到原图有多大的区域,感 受野可以看作为是这个特征图的一个属性。
[0130] 具体的,Wi的卷积核大小可以为UWk既可以是一个多孔卷积也可以是一个非多孔 卷积。可以理解的是,卷积提取的特征的尺度范围和卷积的膨胀系数是成正比的,也就是 说,提供给1筛选的特征中,既有大尺度的特征,也有小尺度的特征。
[0131] 并且,可以理解的是,F1+1的感受野依赖具有最大膨胀系数的卷积。也就是说,F1+1 可以具有较大的感受野的同时,根据所输入图像的尺度范围选择输出大尺度的特征或者小 尺度的特征,或者它们的混合物,即输出所分割图像中目标对象的尺度范围相匹配的特征 而不是像相关技术中全卷积网络,只能输出某一个尺度的特征。这无疑给了目标网络更大 的自由度,目标网络可以从指定的样本图像中学习到什么样的尺度组合是最好的。
[0132] 需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实 体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存 在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖 非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要 素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备 所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在 包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0133] 本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部 分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实 施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例 的部分说明即可。
[0134] 以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在 本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围 内。

Claims (15)

1. 一种图像分割方法,其特征在于,包括: 获得待处理的目标图像; 获得所述目标图像的图像特征数据; 将所述图像特征数据输入至预先训练得到的用于图像分割的目标网络中,得到输出结 果;其中,所述目标网络为包括混合上下文网络结构的全卷积网络,所述混合上下文网络结 构用于将自身所提取的多个具有预定尺度范围的参考特征融合为目标特征,所述目标特征 为与所分割图像中目标对象的尺度范围相匹配的特征;所述目标网络通过具有不同尺度范 围的目标对象的样本图像训练而成; 基于所述输出结果,得到所述目标图像所对应的图像分割结果。
2. 根据权利要求1所述的方法,其特征在于,所述混合上下文网络结构具体为非多孔卷 积与多孔卷积相结合的卷积结构。
3. 根据权利要求2所述的方法,其特征在于,所述混合上下文网络结构包括:至少一个 混合上下文组件; 每一混合上下文组件均包括:多孔卷积分支、非多孔卷积分支、通道串联层和非多孔卷 积层,其中,所述多孔卷积分支和所述非多孔卷积分支分别对所在的混合上下文组件的输 入内容进行卷积处理,所述通道串联层将所述多孔卷积分支的卷积结果以及所述非多孔卷 积分支的卷积结果进行串联处理,所述非多孔卷积层对所述通道串联层的处理结果进行卷 积处理并将所得的卷积结果作为所在的混合上下文组件的输出内容进行输出。
4. 根据权利要求3所述的方法,其特征在于,所述多孔卷积分支中包括至少一个多孔卷 积,所述非多孔卷积中包括至少一个非多孔卷积。
5. 根据权利要求3所述的方法,其特征在于,所述混合上下文组件采用下述卷积公式对 输入内容进行卷积处理:
Figure CN107784654AC00021
其中,F1表示第i层的输入特征图,F1+1表示第i层的输出特征图,Wk表示多孔卷积分支和 非多孔卷积分支的参数,bk表示多孔卷积分支和非多孔卷积分支的偏移项,Φ表示多孔卷积 分支和非多孔卷积分支的激活函数,c〇表示在通道坐标轴上串联所有的输入矩阵,W1表示 非多孔卷积层的参数,匕表示非多孔卷积层的偏移项,F表示非多孔卷积层的激活函数。
6. 根据权利要求1-5任一项所述的方法,其特征在于,所述目标网络的训练过程为: 构建包括混合上下文网络结构的初始全卷积网络; 获得各个样本图像的图像特征数据; 将各个样本图像的图像特征数据输入至所述初始全卷积网络中进行训练; 当各个训练样本所对应的输出结果均与相应图像分割真值的损失值低于预定阈值时, 训练过程结束,得到目标网络。
7. —种图像分割装置,其特征在于,包括: 目标图像获得模块,用于获得待处理的目标图像; 图像特征数据获得模块,用于获得所述目标图像的图像特征数据; 图像分割模块,用于将所述图像特征数据输入至预先训练得到的用于图像分割的目标 网络中,得到输出结果;其中,所述目标网络为包括混合上下文网络结构的全卷积网络,所 述混合上下文网络结构用于将自身所提取的多个具有预定尺度范围的参考特征融合为目 标特征,所述目标特征为与所分割图像中目标对象的尺度范围相匹配的特征;所述目标网 络通过具有不同尺度范围的目标对象的样本图像训练而成; 结果获得模块,用于基于所述输出结果,得到所述目标图像所对应的图像分割结果。
8. 根据权利要求7所述的装置,其特征在于,所述混合上下文网络结构具体为非多孔卷 积与多孔卷积相结合的卷积结构。
9. 根据权利要求8所述的装置,其特征在于,所述混合上下文网络结构包括:至少一个 混合上下文组件; 每一混合上下文组件均包括:多孔卷积分支、非多孔卷积分支、通道串联层和非多孔卷 积层,其中,所述多孔卷积分支和所述非多孔卷积分支分别对所在的混合上下文组件的输 入内容进行卷积处理,所述通道串联层将所述多孔卷积分支的卷积结果以及所述非多孔卷 积分支的卷积结果进行串联处理,所述非多孔卷积层对所述通道串联层的处理结果进行卷 积处理并将所得的卷积结果作为所在的混合上下文组件的输出内容进行输出。
10. 根据权利要求9所述的装置,其特征在于,所述多孔卷积分支中包括至少一个多孔 卷积,所述非多孔卷积中包括至少一个非多孔卷积。
11. 根据权利要求9所述的装置,其特征在于,所述混合上下文组件采用下述卷积公式 对输入内容进行卷积处理·
Figure CN107784654AC00031
其中,F1表示第i层的输入特征图,F1+1表示第i层的输出特征图,Wk表示多孔卷积分支和 非多孔卷积分支的参数,bk表示多孔卷积分支和非多孔卷积分支的偏移项,Φ表示多孔卷积 分支和非多孔卷积分支的激活函数,c〇表示在通道坐标轴上串联所有的输入矩阵,W1表示 非多孔卷积层的参数,匕表示非多孔卷积层的偏移项,β表示非多孔卷积层的激活函数。
12. 根据权利要求7-11任一项所述的装置,其特征在于,所述目标网络由训练模块训练 而成,所述训练模块包括: 构建单元,用于构建包括混合上下文网络结构的初始全卷积网络; 特征数据获得单元,用于获得各个样本图像的图像特征数据; 训练单元,用于将各个样本图像的图像特征数据输入至所述初始全卷积网络中进行训 练; 判断单元,用于当各个训练样本所对应的输出结果均与相应图像分割真值的损失值低 于预定阈值时,训练过程结束,得到目标网络。
13. —种全卷积网络系统,其特征在于,包括:混合上下文网络结构; 所述混合上下文网络结构包括:至少一个混合上下文组件; 每一混合上下文组件均包括:多孔卷积分支、非多孔卷积分支、通道串联层和非多孔卷 积层,其中,所述多孔卷积分支和所述非多孔卷积分支分别对所在的混合上下文组件的输 入内容进行卷积处理,所述通道串联层将所述多孔卷积分支的卷积结果以及所述非多孔卷 积分支的卷积结果进行串联处理,所述非多孔卷积层对所述通道串联层的处理结果进行卷 积处理并将所得的卷积结果作为所在的混合上下文组件的输出内容进行输出。
14. 根据权利要求13所述的全卷积网络系统,其特征在于,所述多孔卷积分支中包括至 少一个多孔卷积,所述非多孔卷积中包括至少一个非多孔卷积。
15. 根据权利要求13或14所述的全卷积网络系统,其特征在于,所述混合上下文组件采 用下述卷积公式对输入内容进行卷积处理:
Figure CN107784654AC00041
其中,F1表示第i层的输入特征图,F1+1表示第i层的输出特征图,Wk表示多孔卷积分支和 非多孔卷积分支的参数,bk表示多孔卷积分支和非多孔卷积分支的偏移项,Φ表示多孔卷积 分支和非多孔卷积分支的激活函数,c〇表示在通道坐标轴上串联所有的输入矩阵,W1表示 非多孔卷积层的参数,匕表示非多孔卷积层的偏移项,Θ表示非多孔卷积层的激活函数。
CN201610734168.4A 2016-08-26 2016-08-26 图像分割方法、装置及全卷积网络系统 Active CN107784654B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610734168.4A CN107784654B (zh) 2016-08-26 2016-08-26 图像分割方法、装置及全卷积网络系统

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201610734168.4A CN107784654B (zh) 2016-08-26 2016-08-26 图像分割方法、装置及全卷积网络系统
EP17842716.7A EP3506200B1 (en) 2016-08-26 2017-07-12 Image segmentation method, apparatus, and fully convolutional network system
PCT/CN2017/092614 WO2018036293A1 (zh) 2016-08-26 2017-07-12 图像分割方法、装置及全卷积网络系统
US16/327,682 US20190228529A1 (en) 2016-08-26 2017-07-12 Image Segmentation Method, Apparatus, and Fully Convolutional Network System

Publications (2)

Publication Number Publication Date
CN107784654A true CN107784654A (zh) 2018-03-09
CN107784654B CN107784654B (zh) 2020-09-25

Family

ID=61245431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610734168.4A Active CN107784654B (zh) 2016-08-26 2016-08-26 图像分割方法、装置及全卷积网络系统

Country Status (4)

Country Link
US (1) US20190228529A1 (zh)
EP (1) EP3506200B1 (zh)
CN (1) CN107784654B (zh)
WO (1) WO2018036293A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460764A (zh) * 2018-03-31 2018-08-28 华南理工大学 基于自动上下文和数据增强的超声图像智能分割方法
CN108898092A (zh) * 2018-06-26 2018-11-27 北京工业大学 基于全卷积神经网络的多光谱遥感影像路网提取方法
CN108921196A (zh) * 2018-06-01 2018-11-30 南京邮电大学 一种改进全卷积神经网络的语义分割方法
CN109086705A (zh) * 2018-07-23 2018-12-25 北京旷视科技有限公司 图像处理方法、装置、电子设备及储存介质
CN109101975A (zh) * 2018-08-20 2018-12-28 电子科技大学 基于全卷积神经网络的图像语义分割方法
CN109145906A (zh) * 2018-08-31 2019-01-04 北京字节跳动网络技术有限公司 目标对象的图像确定方法、装置、设备及存储介质
CN109299716A (zh) * 2018-08-07 2019-02-01 北京市商汤科技开发有限公司 神经网络的训练方法、图像分割方法、装置、设备及介质
CN110288082A (zh) * 2019-06-05 2019-09-27 北京字节跳动网络技术有限公司 卷积神经网络模型训练方法、装置和计算机可读存储介质
WO2020063426A1 (zh) * 2018-09-30 2020-04-02 京东方科技集团股份有限公司 图像分割装置、方法及相关的计算设备
WO2020107847A1 (zh) * 2018-11-28 2020-06-04 平安科技(深圳)有限公司 基于骨骼点的跌倒检测方法及其跌倒检测装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10902252B2 (en) * 2017-07-17 2021-01-26 Open Text Corporation Systems and methods for image based content capture and extraction utilizing deep learning neural network and bounding box detection training techniques
US10776903B2 (en) 2017-07-17 2020-09-15 Open Text Corporation Systems and methods for image modification and image based content capture and extraction in neural networks
CN108564589A (zh) * 2018-03-26 2018-09-21 江苏大学 一种基于改进全卷积神经网络的植物叶片分割方法
CN108830912B (zh) * 2018-05-04 2021-04-16 北京航空航天大学 一种深度特征对抗式学习的交互式灰度图像着色方法
US10984532B2 (en) 2018-08-24 2021-04-20 Ordnance Survey Limited Joint deep learning for land cover and land use classification
US10922589B2 (en) * 2018-10-10 2021-02-16 Ordnance Survey Limited Object-based convolutional neural network for land use classification
US11037030B1 (en) * 2018-10-29 2021-06-15 Hrl Laboratories, Llc System and method for direct learning from raw tomographic data

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104067314A (zh) * 2014-05-23 2014-09-24 中国科学院自动化研究所 人形图像分割方法
US20150117760A1 (en) * 2013-10-30 2015-04-30 Nec Laboratories America, Inc. Regionlets with Shift Invariant Neural Patterns for Object Detection
CN104700100A (zh) * 2015-04-01 2015-06-10 哈尔滨工业大学 面向高空间分辨率遥感大数据的特征提取方法
CN104778448A (zh) * 2015-03-24 2015-07-15 孙建德 一种基于结构自适应卷积神经网络的人脸识别方法
CN105389584A (zh) * 2015-10-13 2016-03-09 西北工业大学 基于卷积神经网络与语义转移联合模型的街景语义标注方法
CN105528575A (zh) * 2015-11-18 2016-04-27 首都师范大学 基于上下文推理的天空检测算法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150117760A1 (en) * 2013-10-30 2015-04-30 Nec Laboratories America, Inc. Regionlets with Shift Invariant Neural Patterns for Object Detection
CN104067314A (zh) * 2014-05-23 2014-09-24 中国科学院自动化研究所 人形图像分割方法
CN104778448A (zh) * 2015-03-24 2015-07-15 孙建德 一种基于结构自适应卷积神经网络的人脸识别方法
CN104700100A (zh) * 2015-04-01 2015-06-10 哈尔滨工业大学 面向高空间分辨率遥感大数据的特征提取方法
CN105389584A (zh) * 2015-10-13 2016-03-09 西北工业大学 基于卷积神经网络与语义转移联合模型的街景语义标注方法
CN105528575A (zh) * 2015-11-18 2016-04-27 首都师范大学 基于上下文推理的天空检测算法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FISHER YU等: "MULTI-SCALE CONTEXT AGGREGATION BY DILATED CONVOLUTIONS", 《HTTPS://ARXIV.ORG/ABS/1511.07122》 *
JONATHAN LONG等: "Fully convolutional networks for segmantic segmentation", 《2015 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
LIANG-CHIEH CHEN等: "DeepLab:Semantic Image Segmentation with Deep Convolutional Nets,Atrous Convolution,and Fully Connected CRFs", 《HTTPS://ARXIV.ORG/ABS/1606.00915》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460764A (zh) * 2018-03-31 2018-08-28 华南理工大学 基于自动上下文和数据增强的超声图像智能分割方法
CN108921196A (zh) * 2018-06-01 2018-11-30 南京邮电大学 一种改进全卷积神经网络的语义分割方法
CN108898092A (zh) * 2018-06-26 2018-11-27 北京工业大学 基于全卷积神经网络的多光谱遥感影像路网提取方法
CN109086705A (zh) * 2018-07-23 2018-12-25 北京旷视科技有限公司 图像处理方法、装置、电子设备及储存介质
CN109299716B (zh) * 2018-08-07 2021-07-06 北京市商汤科技开发有限公司 神经网络的训练方法、图像分割方法、装置、设备及介质
CN109299716A (zh) * 2018-08-07 2019-02-01 北京市商汤科技开发有限公司 神经网络的训练方法、图像分割方法、装置、设备及介质
CN109101975A (zh) * 2018-08-20 2018-12-28 电子科技大学 基于全卷积神经网络的图像语义分割方法
CN109145906A (zh) * 2018-08-31 2019-01-04 北京字节跳动网络技术有限公司 目标对象的图像确定方法、装置、设备及存储介质
WO2020063426A1 (zh) * 2018-09-30 2020-04-02 京东方科技集团股份有限公司 图像分割装置、方法及相关的计算设备
WO2020107847A1 (zh) * 2018-11-28 2020-06-04 平安科技(深圳)有限公司 基于骨骼点的跌倒检测方法及其跌倒检测装置
CN110288082A (zh) * 2019-06-05 2019-09-27 北京字节跳动网络技术有限公司 卷积神经网络模型训练方法、装置和计算机可读存储介质

Also Published As

Publication number Publication date
CN107784654B (zh) 2020-09-25
EP3506200A4 (en) 2019-07-03
WO2018036293A1 (zh) 2018-03-01
EP3506200B1 (en) 2021-06-02
EP3506200A1 (en) 2019-07-03
US20190228529A1 (en) 2019-07-25

Similar Documents

Publication Publication Date Title
CN107784654A (zh) 图像分割方法、装置及全卷积网络系统
CN107220618B (zh) 人脸检测方法及装置、计算机可读存储介质、设备
CN106372648A (zh) 基于多特征融合卷积神经网络的浮游生物图像分类方法
CN105574550A (zh) 一种车辆识别方法及装置
CN106650615B (zh) 一种图像处理方法及终端
CN107220657A (zh) 一种面向小数据集的高分辨率遥感影像场景分类的方法
CN106599773A (zh) 用于智能驾驶的深度学习图像识别方法、系统及终端设备
CN108021938A (zh) 一种冷轧带钢表面缺陷在线检测方法以及检测系统
CN108596108B (zh) 基于三元组语义关系学习的航拍遥感图像变化检测方法
CN107392130A (zh) 基于阈值自适应和卷积神经网络的多光谱图像分类方法
CN107506792B (zh) 一种半监督的显著对象检测方法
CN109035260A (zh) 一种天空区域分割方法、装置和卷积神经网络
CN109584248A (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN108830285A (zh) 一种基于Faster-RCNN的加强学习的目标检测方法
CN107967474A (zh) 一种基于卷积神经网络的海面目标显著性检测方法
CN107506822A (zh) 一种基于空间融合池化的深度神经网络方法
CN106997463A (zh) 一种基于压缩感知域和卷积神经网络的路牌识别方法
CN106874913A (zh) 一种菜品检测方法
CN109472193A (zh) 人脸检测方法及装置
CN108710863A (zh) 基于深度学习的无人机航拍场景语义分割方法及系统
CN108921196A (zh) 一种改进全卷积神经网络的语义分割方法
CN107092906A (zh) 一种基于深度学习的中药材识别装置
CN108182426A (zh) 彩色图像分类方法及装置
CN109740451A (zh) 基于重要性加权的道路场景图像语义分割方法
CN103927759A (zh) 一种航空图像自动云检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant