CN111435448A - 图像显著性物体检测方法、装置、设备及介质 - Google Patents

图像显著性物体检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN111435448A
CN111435448A CN201910121017.5A CN201910121017A CN111435448A CN 111435448 A CN111435448 A CN 111435448A CN 201910121017 A CN201910121017 A CN 201910121017A CN 111435448 A CN111435448 A CN 111435448A
Authority
CN
China
Prior art keywords
information
feature map
module
image
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910121017.5A
Other languages
English (en)
Other versions
CN111435448B (zh
Inventor
王凯诚
鲁华祥
边昳
陈刚
龚国良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Semiconductors of CAS
University of Chinese Academy of Sciences
Original Assignee
Institute of Semiconductors of CAS
University of Chinese Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Semiconductors of CAS, University of Chinese Academy of Sciences filed Critical Institute of Semiconductors of CAS
Publication of CN111435448A publication Critical patent/CN111435448A/zh
Application granted granted Critical
Publication of CN111435448B publication Critical patent/CN111435448B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像显著性物体检测方法,包括:获取图像数据,对图像数据进行特征提取,输出多个尺寸的原始特征图;针对于每个原始特征图,对原始特征图的尺寸进行压缩,并对压缩尺寸后的特征图进行映射,获得原始特征图中的全局信息;针对于每个原始特征图,对原始特征图进行卷积及批标准化处理,获得原始特征图中的局部信息;对获取的全局信息及局部信息进行整合,获得多个信息整合特征图;将多个信息整合特征图进行拼接,获得拼接特征图,根据拼接特征图,获得检测结果。该方法提高了对目标整体的检测准确率;有效地整合全局和局部信息以利用低级视觉特征,提高了目标边缘分割的效果。本发明还提供一种图像显著性物体检测装置、设备及介质。

Description

图像显著性物体检测方法、装置、设备及介质
技术领域
本发明涉及计算机技术领域,尤其涉及一种图像显著性物体检测方法、装置、设备及介质。
背景技术
显著性物体检测是计算机视觉领域的基本任务之一,目的是模拟人类视觉机制,计算视觉场景中信息的重要程度,提取图像中人类感兴趣的显著性区域。检测后的结果可用于目标与背景分离、拍照虚化等,具有广阔的应用前景。优秀的显著性物体检测模型应该尽量避免丢失或将背景误标为显著性区域的可能性,并且具备准确定位显著物体和保留原始图像信息的能力。目前的显著性物体检测模型可大致划分为两种:第一种是无监督模型,其依靠颜色、边缘等低视觉特征,计算产生显著性度量的显著图;第二种是基于学习的模型,其通过获取语义一致性等高视觉特征来判断目标的显著性。高级视觉特征可以更好地描述图片的语义信息,有助于完整地检测出显著性目标。
近年来,由于全卷积神经网络的快速发展,显著性物体检测可以作为二分类的稠密预测任务来解决。全卷积网络消除了对手工特征的需求,可以有效地整合高级视觉特征,比起传统方法展现出更为优越的性能,成为了显著性物体检测的主流方向。但是,由于多次的池化操作,全卷积网络提取的特征图分辨率很低,缺乏低级视觉特征。此外,由于卷积核的尺寸限制,特征图只包含局部的语义信息,缺少对图片整体性描述的全局信息。而显著性的意义在于目标相对于背景更为重要,这是图片整体中的相对概念,需要全局性信息来辅助判断。
发明内容
(一)要解决的技术问题
针对于现有的技术问题,本发明提出一种图像显著性物体检测方法、装置、设备及介质,用于至少部分解决上述技术问题。
(二)技术方案
本发明一方面提供一种图像显著性物体检测方法,包括:对图像数据进行特征提取,输出多个尺寸的原始特征图;对每个原始特征图的尺寸进行压缩,并对压缩尺寸后的特征图进行映射,获得原始特征图中的全局信息;对每个原始特征图进行卷积及批标准化处理,获得原始特征图中的局部信息;对获取的全局信息及局部信息进行整合,获得多个信息整合特征图;将多个信息整合特征图进行拼接,获得拼接特征图,根据拼接特征图,获得检测结果。
可选地,对获取的全局信息及局部信息进行整合,获得多个信息整合特征图,包括:对原始特征图的全局信息与局部信息进行点乘;对点乘结果进行卷积处理;对卷积结果进行批标准化处理,获得与该原始特征图对应的信息整合特征图。
可选地,获得多个信息整合特征图中,每个原始特征图对应的信息整合图与该原始特征图的尺寸大小相同。
可选地,采用递进的方式对多个信息整合特征图进行拼接。
本发明另一方面提供一种图像显著性物体检测装置,包括:特征提取模块,用于对图像数据进行特征提取,输出多个尺寸的原始特征图;全局信息整合模块,用于获取每个原始特征图中的全局信息和局部信息,根据全局信息和局部信息得到信息整合特征图,并根据信息整合特征图输出拼接特征图;上采样层,根据拼接特征图输出图像显著性检测结果;其中,图像显著性检测装置包括至少一个特征提取模块,每个特征提取模块具有与之对应的全局信息整合模块。
可选地,全局信息整合模块包括第一路模块、第二路模块、整合模块及拼接模块;第一路模块用于提取原始特征图中的全局信息;第二路模块用于提取原始特征图中的局部信息;整合模块用于整合全局信息及局部信息,得到多个信息整合特征图;拼接模块,用于对多个信息整合特征图进行拼接,得到拼接特征图。
可选地,第一路模块包括全局池化层、卷积层及激活层;全局池化层用于对原始特征图进行尺寸压缩;卷积层及激活层用于对尺寸压缩后的原始特征图进行映射。
可选地,至少一个全局信息整合模块依次连接,每个全局信息整合模块对其对应的特征提取模块输出的原始特征图及前一级全局信息整合模块输入的信息整合特征图进行拼接。
本发明另一方面提供一种图像显著性物体检测电子设备,包括:图像采集器、存储器、控制器及处理器;图像采集器用于获取图像数据并存储到存储器;控制器用于产生控制及寻址指令调度处理器对图像数据进行计算,并将计算结果存储于存储器。
本发明另一方面提供一种计算机可读介质,其上存储有计算机程序,该程序被处理器执行时实现本发明的图像显著性物体检测方法。
(三)有益效果
本发明提出一种图像显著性物体检测方法、装置、设备及介质,具有有益效果:利用了整张图像中的全局性语义信息,提高了对目标整体的检测准确率;有效地整合了全局和局部信息来利用低级视觉特征,提高了目标边缘分割的效果。
附图说明
图1是本发明实施例图像显著性物体检测方法的流程图。
图2是本发明实施例基于ECSSD、THUR15k数据集时使用本发明方法进行图像显著性物体检测结果与现有技术结果的比较效果图。
图3是本发明实施例图像显著性物体检测装置的结构框图。
图4是本发明实施例图像显著性物体检测装置中全局信息整合模块的结构框图。
图5是本发明实施例图像显著性物体检测电子设备框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
本发明提出一种图像显著性物体检测方法,该方法通过利用整张图像中的全局性语义信息,在整合全局与局部信息时,同时引入不同层级的底层信息,使得学习特征更加鲁棒。
图1为本发明实施例图像显著性物体检测方法的流程图。如图1所示,该方法包括:
S1,对图像数据进行特征提取,输出多个尺寸的原始特征图。
在图像分类集上,采用反向传播法训练一个由图像到标签的深度卷积神经网络,去除深度卷积神经网络中的全连接层,保留网络部分以作为特征提取模块,该特征提取模块包括多组卷积层、非线性映射层及池化层利用特征特征提取模块对网络数据作池化处理、卷积处理及映射处理,产生多个不同尺寸的原始特征图。本实施例是在ImageNet数据集,采用反向传播法训练一个ResNet50模型。
S2,对每个原始特征图的尺寸进行压缩,并对压缩尺寸后的特征图进行映射,获得原始特征图中的全局信息。
对于操作S1中生成的多个不同尺寸的原始特征图,需提取出每个原始特征图中的全局信息,该全局信息主要是目标的语义一致性信息。针对于每个原始特征图,首先对其进行全局池化处理,压缩原始特征图的尺寸,本实施例将原始特征图的尺寸压缩至1×1。然后,对尺寸压缩后的原始特征图进行卷积及激活处理,将尺寸压缩后的原始特征图映射到0至1之间,从而获得原始特征图中的全局信息,本实施例采用的1×1卷积层和Sigmoid激活层对尺寸压缩后的原始特征图进行映射。
S3,对每个原始特征图进行卷积及批标准化处理,获得原始特征图中的局部信息。
首先,采用3×3卷积层对原始特征图进行卷积处理。然后,采用批标准化层对卷积处理结果进行批标准化处理,以提取原始特征图中的局部信息,该局部信息包括边缘、角点、线、曲线和特别属性的区域等,常见的局部信息包括角点类和区域类两大类描述方式。
S4,对获取的全局信息及局部信息进行整合,获得多个信息整合特征图。
在获得了每个原始特征图的全局信息及局部信息之后,需要获取的全局信息及局部信息进行整合。具体地,首先,对全局信息与局部信息进行点乘操作;然后,对点乘操作结果进行卷积处理,本实施例卷积处理采用的是1×1卷积层;最后,对卷积处理结果进行批标准化处理,得到每个原始特征图对应的信息整合特征图,该信息整合特征图即包含了原始特征图的全局信息及局部信息。其中该信息整合特征图尺寸与其对应的原始特征图的尺寸相同。
S5,将多个信息整合特征图进行拼接,获得拼接特征图,根据拼接特征图,获得检测结果。
经过操作S1-S4,根据每个原始特征图会得到一个信息整合特征图,对获得的多个信息整合特征图以递进的方式进行拼接,得到图像数据最终的拼接特征图。举例说明拼接过程:假设根据图像数据得到四种生成四个信息整合特征图A、B、C、D,在拼接过程中,首先,将信息整合特征图D与信息整合特征图C进行拼接,然后,将拼接的结果再与信息整合特征图B进行拼接,最后,信息整合特征图B、C、D拼接的结果与信息整合特征图A进行拼接,得到图像数据最终的拼接特征图。通过上采样层对最终的拼接特征图进行处理,输出检测结果。
在本发明的另一实施中,基于ECSSD、THUR15k数据集,采用上述对图像进行显著性物体检测,其结果如图2所示,从图中可以看出,在该数据集上与现有的技术相比,本发明方法的性能最优,在两个数据集上均是F-measure最高,平均绝对误差(Mean AbsoluteError,MAE)最低。因此,通过上述方法对图像进行显著性物体检测,可以利用整张图像中的全局性语义信息,提高了对目标整体的检测准确率,同时,有效地整合了全局和局部信息以利用低级视觉特征,提高了目标边缘分割的效果。
本发明实施提供一种图像显著性物体检测装置,如图3所示,该装置包括特征提取模块110、全局信息整合模块120及上采样层130,其中,该图像显著性检测装置包括至少一个特征提取模块110,每个特征提取模块具有与之对应的全局信息整合模块120。
特征提取模块110,用于对图像数据进行特征提取,输出多个尺寸的原始特征图。
全局信息整合模块120,用于获取每个原始特征图中的全局信息和局部信息,根据全局信息和局部信息得到信息整合特征图,并根据信息整合特征图输出拼接特征图。
具体地,如图4所示,全局信息整合模块120包括第一路模块210、第二路模块220、整合模块230及拼接模块240。第一路模块210用于提取原始特征图中的全局信息,第二路模块220用于提取原始特征图中的的局部信息,整合模块230用于整合全局信息及局部信息。第一路模块210包括全局池化层、卷积层及激活层,对于特征提取模块110输出的原始特征图,全局池化层对原始特征图进行池化操作,以压缩原始特征图的尺寸,然后利用卷积层及激活层对尺寸压缩后的原始特征图进行映射,将其映射到0~1之间,从而提取原始特征图中的全局信息;第二路模块220包括卷积层及批标准化层,对于特征提取模块110输出的原始特征图,首先,通过卷积层进行卷积处理,然后,通过批标准化层对卷积处理结果进行批标准化处理,以提取原始特征图中的局部信息;整合模块230包括点乘、卷积层及批标准化层,首先,将获得的全局信息及局部信息进行点乘操作,然后、将点乘操作结果进行卷积处理,最后,将卷积处理结果进行批标准化处理,以输出信息整合特征图;拼接模块240用于对信息整合特征图进行拼接,得到拼接特征图,具体地,至少一个全局信息整合模块120以层层递进的方式连接,对于其中一个全局信息整合模块120,其自身的拼接模块将上一级全局信息整合模块120的拼接模块240拼接的结果与自身整合模块230生成的信息整合特征图进行拼接,然后输入至下一级全局信息整合模块120的拼接模块240,该拼接模块240将拼接的结果与该级全局信息整合模块120的整合模块230生成的信息整合特征图继续进行拼接,这样层层递进,直至输出最终的拼接特征图。
上采集层130,根据拼接特征图输出图像显著性检测结果。
本发明提出一种图像显著性物体检测电子设备,如图5所示,包括:图像采集器310、存储器320、控制器330及处理器340。其中图像采集模块310采集外界的图像数据,存储到存储器320上,存储器320还存储有模型程序、图像数据和计算数据,模型程序为通过微调训练后获得的显著性物体检测模型计算程序和参数数据,计算数据为图像显著性物体检测计算过程中产生的中间数据和最终结果,图像数据为图像采集模块310采集后的RGB图像矩阵。控制器330负责产生控制和寻址指令,调度处理器340完成计算操作,处理器340实现加减乘除等计算操作,接收控制器330发送的控制和寻址指令,读取存储器320中的数据,对图像数据进行计算,并将计算结果存储到存储器320上。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像显著性物体检测方法,其特征在于,包括:
对图像数据进行特征提取,输出多个尺寸的原始特征图;
对所述每个原始特征图的尺寸进行压缩,并对压缩尺寸后的特征图进行映射,获得所述原始特征图中的全局信息;
对所述每个原始特征图进行卷积及批标准化处理,获得所述原始特征图中的局部信息;
对获取的所述全局信息及局部信息进行整合,获得多个信息整合特征图;
将所述多个信息整合特征图进行拼接,获得拼接特征图,根据所述拼接特征图,获得检测结果。
2.根据权利要求1所述的图像显著性物体检测方法,其特征在于,所述对获取的所述全局信息及局部信息进行整合,获得多个信息整合特征图,包括:
对所述原始特征图的全局信息与局部信息进行点乘;
对点乘结果进行卷积处理;
对卷积结果进行批标准化处理,获得与该原始特征图对应的信息整合特征图。
3.根据权利要求1所述的图像显著性物体检测方法,其特征在于,获得多个信息整合特征图中,每个原始特征图对应的信息整合图与该原始特征图的尺寸大小相同。
4.根据权利要求1所述的图像显著性物体检测方法,其特征在于,采用递进的方式对所述多个信息整合特征图进行拼接。
5.一种图像显著性物体检测装置,其特征在于,包括:
特征提取模块,用于对图像数据进行特征提取,输出多个尺寸的原始特征图;
全局信息整合模块,用于获取每个原始特征图中的全局信息和局部信息,根据所述全局信息和局部信息得到信息整合特征图,并根据所述信息整合特征图输出拼接特征图;
上采样层,根据所述拼接特征图输出图像显著性检测结果;
其中,所述图像显著性检测装置包括至少一个特征提取模块,每个特征提取模块具有与之对应的全局信息整合模块。
6.根据权利要求5所述的图像显著性物体检测装置,其特征在于,所述全局信息整合模块包括第一路模块、第二路模块、整合模块及拼接模块;
所述第一路模块用于提取所述原始特征图中的全局信息;
所述第二路模块用于提取所述原始特征图中的局部信息;
所述整合模块用于整合所述全局信息及局部信息,得到多个信息整合特征图;
所述拼接模块,用于对所述多个信息整合特征图进行拼接,得到拼接特征图。
7.根据权利要求6所述的图像显著性物体检测装置,其特征在于,所述第一路模块包括全局池化层、卷积层及激活层;
所述全局池化层用于对所述原始特征图进行尺寸压缩;
所述卷积层及激活层用于对尺寸压缩后的原始特征图进行映射。
8.根据权利要求5所述的图像显著性物体检测装置,其特征在于,所述至少一个全局信息整合模块依次连接,每个全局信息整合模块对其对应的特征提取模块输出的原始特征图及前一级全局信息整合模块输入的信息整合特征图进行拼接。
9.一种图像显著性物体检测电子设备,其特征在于,包括:图像采集器、存储器、控制器及处理器;
所述图像采集器用于获取图像数据并存储到所述存储器;
所述控制器用于产生控制及寻址指令调度所述处理器对所述图像数据进行计算,并将计算结果存储于所述存储器。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-4中任意一项所述的图像显著性物体检测方法。
CN201910121017.5A 2019-01-11 2019-02-18 图像显著性物体检测方法、装置、设备及介质 Active CN111435448B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910029925 2019-01-11
CN2019100299251 2019-01-11

Publications (2)

Publication Number Publication Date
CN111435448A true CN111435448A (zh) 2020-07-21
CN111435448B CN111435448B (zh) 2024-03-05

Family

ID=71581042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910121017.5A Active CN111435448B (zh) 2019-01-11 2019-02-18 图像显著性物体检测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111435448B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642585A (zh) * 2021-10-14 2021-11-12 腾讯科技(深圳)有限公司 图像处理方法、装置、设备、存储介质及计算机程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701508A (zh) * 2016-01-12 2016-06-22 西安交通大学 基于多级卷积神经网络的全局-局部优化模型及显著性检测算法
CN106447658A (zh) * 2016-09-26 2017-02-22 西北工业大学 基于全局和局部卷积网络的显著性目标检测方法
CN106937052A (zh) * 2017-03-29 2017-07-07 维沃移动通信有限公司 一种图像数据的处理方法及移动终端
US20180285683A1 (en) * 2017-03-30 2018-10-04 Beihang University Methods and apparatus for image salient object detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701508A (zh) * 2016-01-12 2016-06-22 西安交通大学 基于多级卷积神经网络的全局-局部优化模型及显著性检测算法
CN106447658A (zh) * 2016-09-26 2017-02-22 西北工业大学 基于全局和局部卷积网络的显著性目标检测方法
CN106937052A (zh) * 2017-03-29 2017-07-07 维沃移动通信有限公司 一种图像数据的处理方法及移动终端
US20180285683A1 (en) * 2017-03-30 2018-10-04 Beihang University Methods and apparatus for image salient object detection

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DANDAN ZHUA, 等: ""Salient object detection via a local and global method based on deep residual network"" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642585A (zh) * 2021-10-14 2021-11-12 腾讯科技(深圳)有限公司 图像处理方法、装置、设备、存储介质及计算机程序产品
CN113642585B (zh) * 2021-10-14 2022-02-11 腾讯科技(深圳)有限公司 图像处理方法、装置、设备、存储介质及计算机程序产品

Also Published As

Publication number Publication date
CN111435448B (zh) 2024-03-05

Similar Documents

Publication Publication Date Title
US10977530B2 (en) ThunderNet: a turbo unified network for real-time semantic segmentation
CN110674829B (zh) 一种基于图卷积注意网络的三维目标检测方法
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和系统
CN109960742B (zh) 局部信息的搜索方法及装置
CN108491848B (zh) 基于深度信息的图像显著性检测方法和装置
CN109816769A (zh) 基于深度相机的场景地图生成方法、装置及设备
CN110473137A (zh) 图像处理方法和装置
EP3905194A1 (en) Pose estimation method and apparatus
CN110222607B (zh) 人脸关键点检测的方法、装置及系统
US20170091613A1 (en) Computational device, computational method, and computer program product
CN110838122A (zh) 点云的分割方法、装置及计算机存储介质
US20220237896A1 (en) Method for training a model to be used for processing images by generating feature maps
CN111444923A (zh) 自然场景下图像语义分割方法和装置
CN115457208A (zh) Mep设备的三维建模方法、装置、存储介质及电子装置
CN113793370A (zh) 三维点云配准方法、装置、电子设备及可读介质
CN116092178A (zh) 一种面向移动端的手势识别和跟踪方法及系统
CN113592015B (zh) 定位以及训练特征匹配网络的方法和装置
CN114638866A (zh) 一种基于局部特征学习的点云配准方法及系统
CN116152334A (zh) 图像处理方法及相关设备
CN111435448A (zh) 图像显著性物体检测方法、装置、设备及介质
CN116883770A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质
CN113822871A (zh) 基于动态检测头的目标检测方法、装置、存储介质及设备
CN114119678A (zh) 光流估计方法、计算机程序产品、存储介质及电子设备
CN111325194B (zh) 一种文字识别方法、装置及设备、存储介质
CN114445648A (zh) 障碍物识别方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant