CN115424037A - 一种基于多尺度稀疏表示的显著目标区域提取方法 - Google Patents

一种基于多尺度稀疏表示的显著目标区域提取方法 Download PDF

Info

Publication number
CN115424037A
CN115424037A CN202211246974.9A CN202211246974A CN115424037A CN 115424037 A CN115424037 A CN 115424037A CN 202211246974 A CN202211246974 A CN 202211246974A CN 115424037 A CN115424037 A CN 115424037A
Authority
CN
China
Prior art keywords
scale
saliency map
ism
sparse representation
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211246974.9A
Other languages
English (en)
Inventor
程翔
周伟
张永军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202211246974.9A priority Critical patent/CN115424037A/zh
Publication of CN115424037A publication Critical patent/CN115424037A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/52Scale-space analysis, e.g. wavelet analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于多尺度稀疏表示的显著目标区域提取方法,通过对原始图像进行多尺度超像素分割,再对每一种分割尺度下的超像素进特征提取,再采用双重迭代稀疏的方式,对图像所有超像素进行稀疏表示,并计算重构残差,再以计算出的重构残差作为显著性因子计算显著性水平值,再通过更新初始显著图迭代计算来弱化算法对视觉注意结果的依赖,最后在将多尺度处理结果进行融合,本发明通过采用双重递归稀疏方法来实现对图像像素显著性的一致性检测,一定程度上改善了现有技术中存在的单目标像素显著性不一致等不足的问题,并通过图像区域特异性分析对视觉信息进行合理简化与提炼,在显著目标完整性和内部一致性方面表现出了较好的检测性能。

Description

一种基于多尺度稀疏表示的显著目标区域提取方法
技术领域
本发明涉及显著目标区域提取技术领域,尤其涉及一种基于多尺度稀疏表示的显著目标区域提取方法。
背景技术
在人类的各种感知方式中,视觉以80%以上的信息获取率成为了最重要的外部信息获取方式,而且通过视觉获取的信息量大,利用率高。借助视觉系统,人们能够快速地扫描环境场景,发现目标及目标所在的区域,并对场景做出迅速判断,完成对有效信息的理解和认识。人体视觉感知过程的高质量、高效率一直以来都是计算机视觉生物仿真技术研究难以逾越的高峰。神经生理学和认知心理学研究表明,人类视觉神经系统的选择注意机制和稀疏响应特性为大脑对外界信息的加工和处理设计了一条具有特异性和选择性的道路,将有限的神经资源用以处理更加重要的信息,对大量信息的筛选和取舍有助于效率和精度的共同提升;
图像视觉显著性分析来源于心理学和神经科学的基础研究,是人类视觉注意特性在计算机视觉研究领域的技术性体现。总的来讲,自1998年人们首次通过计算机实现图像显著性检测以来,各种分析和检测算法接踵而至,从实现形式和途径上看,大体可以分为两类,基于监督学习的提取方法和无监督的自动检测方法。前者结果精度高,但对学习样本比较依赖,预处理过程工作量大,后者自主性强,但同样存在一定先验约束,检测精度受到了相应的制约,因此本发明提出一种基于多尺度稀疏表示的显著目标区域提取方法以解决现有技术中存在的问题。
发明内容
针对上述问题,本发明的目的在于提出一种基于多尺度稀疏表示的显著目标区域提取方法,该种基于多尺度稀疏表示的显著目标区域提取方法具有实现多显著目标完整提取和保障目标内部显著一致性高的优点,解决现有技术中存在的问题。
为实现本发明的目的,本发明通过以下技术方案实现:一种基于多尺度稀疏表示的显著目标区域提取方法,包括以下步骤:
步骤一:输入原始图像,并对输入的图像数据进行对多尺度超像素分割,将该图像数据划分成多个大小均匀、分布紧凑的超像素作为显著性检测的基本单元,该多个超像素分别处于单一尺度下;
步骤二:针对步骤一中划分的基本单元,在每一种分割尺度下,引入经典的视觉注意焦点预测方法(IT),来获取视觉注意结果并生成初始显著图ISM;
步骤三:根据显著性程度的大小,对步骤二中生成的初始显著图ISM进行数据提取,提取图像中的前景区域和背景区域,来构建稀疏表示的前景字典Df和背景字典Db
步骤四:分别以步骤三中的前景字典Df和背景字典Db对图像所有超像素进行稀疏表示,并计算重构残差,再以计算出的重构残差作为显著性因子计算显著性水平值;
步骤五:构建递归流程,通过更新初始显著图ISM迭代计算来弱化算法对视觉注意结果的依赖;
步骤六:对多尺度处理结果进行融合,生成最终的显著目标提取结果。
进一步改进在于:所述步骤一中,采用SLIC分割算法对输入的原始图像进行多尺度超像素分割,通过改变SLIC算法参数中的超像素个数以获取不同大小的超像素分割结果,构建多尺度的超像素表示,服务于多尺度感知过程。
进一步改进在于:所述步骤二中,初始显著图ISM的生成步骤为:
S1:输入三波段彩色图像I;
S2:令S为图像I某一尺度下的超像素分割结果;
S2:提取超像素特征Fs={F1,F2,...Fn},n为超像素个数,Fi为超像素i内部特征均值;
S3:使用IT视觉注意结果生成初始显著图ISM。
进一步改进在于:所述步骤三中,针对某一尺度的分割结果,各超像素的显著性水平为其内部所有像素显著值的均值,然后按照显著性水平对所有超像素进行排序,并设定一个比例系数p,取显著性水平最高的N×p个超像素构成前景字典Df,该显著性水平最高的区域即为初始显著图ISM较大区域,取显著性水平最低的N×p个超像素构成背景字典Db,该显著性水平最低的区域为初始显著图ISM较小区域。
进一步改进在于:更新初始显著图ISM的具体步骤为:
A1:选择初始显著图ISM较大区域作为前景字典Df,初始显著图ISM较小区域作为背景字典Db
A2:使用前景字典Df和背景字典Db对所有超像素进行稀疏表示并计算重构残差Ef和Eb
A3:组合两组重构残差,以生成当前显著图CSM,再利用当前显著图CSM更新初始显著图ISM。
进一步改进在于:所述步骤五中,在递归处理流程中,每完成一次像素级显著图计算后,对当前显著图CSM和初始显著图ISM之间的相似性成图进行比较,若二者之间的相关系数小于设定的阈值,则使用当前显著图CSM更新初始显著图ISM继续执行迭代过程,反之停止迭代。
进一步改进在于:预先对迭代的次数进行设置,当迭代次数超过预设的值时,同样选择停止迭代过程,并输出当前显著图CSM作为该分隔尺度下的检测结果图像FSM。
进一步改进在于:所述步骤六中,采用均值融合的方法对多分割尺度下的结果图像FSMi进行融合,生成最终的显著目标提取结果。
本发明的有益效果为:该种基于多尺度稀疏表示的显著目标区域提取方法通过采用双重递归稀疏方法来实现对图像像素显著性的一致性检测,一定程度上改善了现有技术中存在的单目标像素显著性不一致、图像边缘显著目标检测困难、多显著目标提取不完整等不足的问题,并通过图像区域特异性分析对视觉信息进行合理简化与提炼,为图像适配区的自动检测提供了基础技术支持,在显著目标完整性和内部一致性方面表现出了较好的检测性能,继而能够在提高计算机处理效率的同时,提升相应的检测精度。
附图说明
图1是本发明的流程示意图。
具体实施方式
为了加深对本发明的理解,下面将结合实施例对本发明做进一步详述,本实施例仅用于解释本发明,并不构成对本发明保护范围的限定。
根据图1所示,本实施例提出了一种基于多尺度稀疏表示的显著目标区域提取方法,包括以下步骤:
步骤一:输入原始图像,并对输入的图像数据进行对多尺度超像素分割,超像素分割是图像解译任务中比较常见的预处理环节,能有效减少基本计算单元数量,有助于提升数据处理效率,继而将该图像数据划分成多个大小均匀、分布紧凑的超像素作为显著性检测的基本单元,该多个超像素分别处于单一尺度下,同时,在本实施例中,采用SLIC分割算法对输入的原始图像进行多尺度超像素分割,继而可以通过改变SLIC算法参数中的超像素个数以获取不同大小的超像素分割结果,构建多尺度的超像素表示,服务于多尺度感知过程;
步骤二:针对步骤一中划分的基本单元,在每一种分割尺度下,引入经典的视觉注意焦点预测方法(IT),来获取视觉注意结果并生成初始显著图ISM,在本实施例中,针对单一尺度下的超像素分割结果描述显著目标提取处理过程主要是将输入的三波段彩色图像I,而输出的是显著目标提取结果图像FSM,进一步的将这个过程进行拆解,其中初始显著图ISM的生成步骤为:
S1:输入三波段彩色图像I;
S2:令S为图像I某一尺度下的超像素分割结果;
S2:提取超像素特征Fs={F1,F2,...Fn},n为超像素个数,Fi为超像素i内部特征均值;
S3:使用IT视觉注意结果生成初始显著图ISM;
更新初始显著图ISM的具体步骤为:
A1:选择初始显著图ISM较大区域作为前景字典Df,初始显著图ISM较小区域作为背景字典Db
A2:使用前景字典Df和背景字典Db对所有超像素进行稀疏表示并计算重构残差Ef和Eb
A3:组合两组重构残差,以生成当前显著图CSM,再利用当前显著图CSM更新初始显著图ISM;
上述更新初始显著图ISM的具体步骤为重复进行,直至当前显著图
Figure BDA0003886424750000061
继而令结果图像FSM=CSM,同时退出处理流程;
步骤三:根据显著性程度的大小,对步骤二中生成的初始显著图ISM进行数据提取,提取图像中的前景区域和背景区域,来构建稀疏表示的前景字典Df和背景字典Db,具体的针对某一尺度的分割结果,各超像素的显著性水平为其内部所有像素显著值的均值,然后按照显著性水平对所有超像素进行排序,并设定一个比例系数p,取显著性水平最高的N×p个超像素构成前景字典Df={f1,f2,...fN×p},该显著性水平最高的区域为初始显著图ISM较大区域,取显著性水平最低的N×p个超像素构成背景字典Db={b1,b2,...bN×p},该显著性水平最低的区域为初始显著图ISM较小区域,其中N为超像素总数,在本实施例中,使用两组相逆的字典进行稀疏表示,旨在分别强化算法对图像前景区域和背景区域的识别能力,将二者结合,对提升显著目标的提取质量起到了一定的正面作用;
步骤四:分别以步骤三中的前景字典Df和背景字典Db对图像所有超像素进行稀疏表示,并计算重构残差,再以计算出的重构残差作为显著性因子计算显著性水平值,具体的,基于提取的前景字典Df和背景字典Db,根据公式一和公式二计算稀疏表示稀疏,然后再根据公式三和公式四分别计算两组重构残差,其中公式一为:
Figure BDA0003886424750000071
公式二为:
Figure BDA0003886424750000072
公式三为:
Figure BDA0003886424750000073
公式四为:
Figure BDA0003886424750000074
上述公式中,i为超像素编号,αbifi分别为根据背景字典Db和前景字典Df稀疏表示的结果系数向量,λbf为两组稀疏表示的调节参数,εbifi为两组系数标示的重构残差;
考虑重构残差一定程度上能反应样本和字典之间的相似性程度,所以针对基于前景字典Df的稀疏表示,超像素区域的重构残差越小,则其与前景字典Df的相似性越高,显著性越大,相反,基于背景字典Db进行稀疏表示,具有较大重构残差的区域显著性越大,继而参照公式五,采用对两组稀疏表示的重构残差进行简单的反相关融合,计算超像素区域的显著性水平值,进一步,遵循超像素区域显著性水平一致的原则,生成当前处理过程的像素级显著图CSM,其中公式五为:
Sali=εbi/(εfi2)
上述公式中,i为超像素编号,εbifi为两组稀疏表示的重构残差,σ2是非0调节因子,Sali为超像素显著性水平值;
步骤五:构建递归流程,通过更新初始显著图ISM迭代计算来弱化算法对视觉注意结果的依赖,在递归处理流程中,每完成一次像素级显著图计算后,对当前显著图CSM和初始显著图ISM之间的相似性成图进行比较,若二者之间的相关系数小于设定的阈值,则使用当前显著图CSM更新初始显著图ISM继续执行迭代过程,反之停止迭代,而预先对迭代的次数进行设置,当迭代次数超过预设的值时,同样选择停止迭代过程,并输出当前显著图CSM作为该分隔尺度下的检测结果图像FSM,同样选择停止迭代过程,并输出当前显著图CSM作为该分隔尺度下的检测结果图像FSM;
步骤六:对多尺度处理结果进行融合,生成最终的显著目标提取结果,具体的采用均值融合的方法对多分割尺度下的结果图像FSMi进行融合,生成最终的显著目标提取结果。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种基于多尺度稀疏表示的显著目标区域提取方法,其特征在于:包括以下步骤:
步骤一:输入原始图像,并对输入的图像数据进行对多尺度超像素分割,将该图像数据划分成多个大小均匀、分布紧凑的超像素作为显著性检测的基本单元,该多个超像素分别处于单一尺度下;
步骤二:针对步骤一中划分的基本单元,在每一种分割尺度下,引入经典的视觉注意焦点预测方法(IT),来获取视觉注意结果并生成初始显著图ISM;
步骤三:根据显著性程度的大小,对步骤二中生成的初始显著图ISM进行数据提取,提取图像中的前景区域和背景区域,来构建稀疏表示的前景字典Df和背景字典Db
步骤四:分别以步骤三中的前景字典Df和背景字典Db对图像所有超像素进行稀疏表示,并计算重构残差,再以计算出的重构残差作为显著性因子计算显著性水平值;
步骤五:构建递归流程,通过更新初始显著图ISM迭代计算来弱化算法对视觉注意结果的依赖;
步骤六:对多尺度处理结果进行融合,生成最终的显著目标提取结果。
2.根据权利要求1所述的于多尺度稀疏表示的显著目标区域提取方法,其特征在于:所述步骤一中,采用SLIC分割算法对输入的原始图像进行多尺度超像素分割,通过改变SLIC算法参数中的超像素个数以获取不同大小的超像素分割结果,构建多尺度的超像素表示,服务于多尺度感知过程。
3.根据权利要求1所述的一种基于多尺度稀疏表示的显著目标区域提取方法,其特征在于:所述步骤二中,初始显著图ISM的生成步骤为:
S1:输入三波段彩色图像I;
S2:令S为图像I某一尺度下的超像素分割结果;
S2:提取超像素特征Fs={F1,F2,...Fn},n为超像素个数,Fi为超像素i内部特征均值;
S3:使用IT视觉注意结果生成初始显著图ISM。
4.根据权利要求1所述的一种基于多尺度稀疏表示的显著目标区域提取方法,其特征在于:所述步骤三中,针对某一尺度的分割结果,各超像素的显著性水平为其内部所有像素显著值的均值,然后按照显著性水平对所有超像素进行排序,并设定一个比例系数p,取显著性水平最高的N×p个超像素构成前景字典Df,该显著性水平最高的区域即为初始显著图ISM较大区域,取显著性水平最低的N×p个超像素构成背景字典Db,该显著性水平最低的区域为初始显著图ISM较小区域。
5.根据权利要求1所述的一种基于多尺度稀疏表示的显著目标区域提取方法,其特征在于:更新初始显著图ISM的具体步骤为:
A1:选择初始显著图ISM较大区域作为前景字典Df,初始显著图ISM较小区域作为背景字典Db
A2:使用前景字典Df和背景字典Db对所有超像素进行稀疏表示并计算重构残差Ef和Eb
A3:组合两组重构残差,以生成当前显著图CSM,再利用当前显著图CSM更新初始显著图ISM。
6.根据权利要求4所述的一种基于多尺度稀疏表示的显著目标区域提取方法,其特征在于:所述步骤五中,在递归处理流程中,每完成一次像素级显著图计算后,对当前显著图CSM和初始显著图ISM之间的相似性成图进行比较,若二者之间的相关系数小于设定的阈值,则使用当前显著图CSM更新初始显著图ISM继续执行迭代过程,反之停止迭代。
7.根据权利要求6所述的一种基于多尺度稀疏表示的显著目标区域提取方法,其特征在于:预先对迭代的次数进行设置,当迭代次数超过预设的值时,同样选择停止迭代过程,并输出当前显著图CSM作为该分隔尺度下的检测结果图像FSM。
8.根据权利要求7所述的一种基于多尺度稀疏表示的显著目标区域提取方法,其特征在于:所述步骤六中,采用均值融合的方法对多分割尺度下的结果图像FSMi进行融合,生成最终的显著目标提取结果。
CN202211246974.9A 2022-10-12 2022-10-12 一种基于多尺度稀疏表示的显著目标区域提取方法 Pending CN115424037A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211246974.9A CN115424037A (zh) 2022-10-12 2022-10-12 一种基于多尺度稀疏表示的显著目标区域提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211246974.9A CN115424037A (zh) 2022-10-12 2022-10-12 一种基于多尺度稀疏表示的显著目标区域提取方法

Publications (1)

Publication Number Publication Date
CN115424037A true CN115424037A (zh) 2022-12-02

Family

ID=84206405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211246974.9A Pending CN115424037A (zh) 2022-10-12 2022-10-12 一种基于多尺度稀疏表示的显著目标区域提取方法

Country Status (1)

Country Link
CN (1) CN115424037A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015180527A1 (zh) * 2014-05-26 2015-12-03 清华大学深圳研究生院 一种图像显著性检测方法
CN107392211A (zh) * 2017-07-19 2017-11-24 苏州闻捷传感技术有限公司 基于视觉稀疏认知的显著目标检测方法
CN107992874A (zh) * 2017-12-20 2018-05-04 武汉大学 基于迭代稀疏表示的图像显著目标区域提取方法及系统
CN109117852A (zh) * 2018-07-10 2019-01-01 武汉大学 基于稀疏表示的无人机图像适配区自动提取方法及系统
US20190197344A1 (en) * 2016-08-03 2019-06-27 Jiangsu University Saliency-based method for extracting road target from night vision infrared image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015180527A1 (zh) * 2014-05-26 2015-12-03 清华大学深圳研究生院 一种图像显著性检测方法
US20190197344A1 (en) * 2016-08-03 2019-06-27 Jiangsu University Saliency-based method for extracting road target from night vision infrared image
CN107392211A (zh) * 2017-07-19 2017-11-24 苏州闻捷传感技术有限公司 基于视觉稀疏认知的显著目标检测方法
CN107992874A (zh) * 2017-12-20 2018-05-04 武汉大学 基于迭代稀疏表示的图像显著目标区域提取方法及系统
CN109117852A (zh) * 2018-07-10 2019-01-01 武汉大学 基于稀疏表示的无人机图像适配区自动提取方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YONGJUN ZHANG, ET.AL: "Approximate Correction of Length Distortion for Direct Georeferencing in Map Projection Frame", IEEE, vol. 10, no. 6, XP011529507, DOI: 10.1109/LGRS.2013.2259463 *

Similar Documents

Publication Publication Date Title
Yang et al. A constant-space belief propagation algorithm for stereo matching
CN110414377B (zh) 一种基于尺度注意力网络的遥感图像场景分类方法
Tang et al. A multi-stage framework with context information fusion structure for skin lesion segmentation
CN113807355A (zh) 一种基于编解码结构的图像语义分割方法
Chen et al. Dr-tanet: Dynamic receptive temporal attention network for street scene change detection
CN111612008A (zh) 基于卷积网络的图像分割方法
Batsos et al. Recresnet: A recurrent residual cnn architecture for disparity map enhancement
CN112651940B (zh) 基于双编码器生成式对抗网络的协同视觉显著性检测方法
CN113870286B (zh) 一种基于多级特征和掩码融合的前景分割方法
Xu et al. You only group once: Efficient point-cloud processing with token representation and relation inference module
Yan et al. Monocular depth estimation with guidance of surface normal map
CN110852199A (zh) 一种基于双帧编码解码模型的前景提取方法
CN115359191A (zh) 一种基于深度学习的物体三维重建系统
Wei et al. Non-homogeneous haze removal via artificial scene prior and bidimensional graph reasoning
CN107239827B (zh) 一种基于人工神经网络的空间信息学习方法
CN112529068A (zh) 一种多视图图像分类方法、系统、计算机设备和存储介质
CN114373224B (zh) 基于自监督学习的模糊3d骨架动作识别方法及装置
CN114996495A (zh) 一种基于多原型和迭代增强的单样本图像分割方法及装置
CN113208641B (zh) 基于三维多分辨注意力胶囊网络的肺结节辅助诊断方法
Rao et al. A clustering approach to optimize online dictionary learning
Yu et al. MagConv: Mask-guided convolution for image inpainting
CN114612709A (zh) 图像金字塔特征指导的多尺度目标检测方法
Bao et al. Bidirectional multiscale refinement network for crisp edge detection
Yuan et al. Explore double-opponency and skin color for saliency detection
CN112541566B (zh) 一种基于重构损失的图像翻译方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination