CN107103608A - 一种基于区域候选样本选择的显著性检测方法 - Google Patents

一种基于区域候选样本选择的显著性检测方法 Download PDF

Info

Publication number
CN107103608A
CN107103608A CN201710247051.8A CN201710247051A CN107103608A CN 107103608 A CN107103608 A CN 107103608A CN 201710247051 A CN201710247051 A CN 201710247051A CN 107103608 A CN107103608 A CN 107103608A
Authority
CN
China
Prior art keywords
region candidate
sample
pixel
super
candidate sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710247051.8A
Other languages
English (en)
Other versions
CN107103608B (zh
Inventor
张立和
周钦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201710247051.8A priority Critical patent/CN107103608B/zh
Publication of CN107103608A publication Critical patent/CN107103608A/zh
Application granted granted Critical
Publication of CN107103608B publication Critical patent/CN107103608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

本发明属于人工智能技术领域，提供了一种基于区域候选样本选择的显著性检测方法。本发明提出的基于区域候选样本选择的显著性检测方法，在现有先验知识的基础上，通过引入深度特征和分类器并采用由粗到细的选择机制，评价区域候选样本的显著性和目标性，然后又利用超像素进一步优化检测结果，从而可以有效的检测图像中的显著目标。与传统方法相比，检测结果更加准确。特别是对于多目标或者目标与背景很相似的图像，本发明方法的检测结果更加符合人类的视觉感知，得到的显著图也更加准确。

Description

一种基于区域候选样本选择的显著性检测方法
技术领域
本发明属于人工智能技术领域，涉及到计算机视觉，特别涉及到一种图像显著性检测方法。
背景技术
随着科技的发展，人们接收到的图像、视频等信息呈现爆炸式的增长。如何快速有效的处理图像数据成为摆在人们面前的一道亟待解决的难题。通常，人们只关注图像中吸引人眼注意的较为显著区域，即前景区域或显著目标，同时忽视背景区域。因此，人们利用计算机模拟人类视觉系统进行显著性检测。目前，显著性的研究可以广泛应用到计算机视觉的各个领域，包括图像检索、图像压缩、目标识别和图像分割等。
在显著性检测中，如何精准的从图像中将显著目标检测出来是一个非常重要的问题。传统的显著性检测方法存在很多不足，尤其面对比较复杂的多目标图像或者显著目标与背景之间很相似的情况时，检测的结果往往不准确。
发明内容
本发明要解决的技术问题是：弥补上述现有方法的不足，提出一种新的图像显著性检测方法，使得检测的结果更加准确。
本发明的技术方案：
一种基于区域样本选择的显著性检测方法，步骤如下：
(1)提取待处理图像对应的区域候选样本以及区域候选样本的深度特征；
(2)采用由粗到细的选择机制处理区域候选样本，首先根据多个先验知识定义用于评价区域候选样本目标性和显著性的评价指标，具体的定义如下：
区域候选样本对应的目标区域中心周围对比度(CS)：其中，aij表示超像素i和j之间的相似度，nf和ns分别表示区域候选样本的目标区域和对应的周围背景区域中所包含的超像素的数量；
区域候选样本对应的目标区域内部相似度(HG)：
区域候选样本对应的目标区域全局边界一致性(GE)：其中，和λ为常数，E和P分别表示待处理图像边缘轮廓先验图和区域候选样本的边缘轮廓像素集，函数|*|计算给定集合中所包含样本的数量；
区域候选样本对应的目标区域局部边界一致性(LE)： 其中，表示超像素i中位于区域候选样本前景区域中的像素个数，ni表示超像素i包含的所有像素个数。δ(i)是一个指示函数，用来判断超像素是否包含不同区域的像素，ρ2为常数。
区域候选样本对应的目标区域位置先验(LC)：其中，和cp和ce分别表示区域候选样本和待处理图像边缘轮廓先验图的重心，npb表示区域候选样本的目标区域占据待处理图像边界的像素数量。
根据定义上述的评价指标，对区域候选样本分两个阶段进行排序；
在第一阶段，首先将目标区域大小占图像面积低于3％或者超过85％的区域候选样本去除，然后用上述五个评价指标评价余下的区域候选样本，保留排序分数最大的前40％的区域候选样本进行多尺度聚类；叠加每个聚类中心的所有区域候选样本，采用自适应的阈值二值化叠加的结果，为每个聚类中心产生一个代表样本；
最后再次采用上述五个评价指标评价每个聚类中心的代表样本，输出排序分数最高的样本作为伪真值，用于第二阶段处理；
在第二阶段，根据第一阶段得到的伪真值，在整个图像库中计算区域候选样本与它们伪真值之间的Fmeasure值，选择值最大的前三个作为正样本，值最小的后三个作为负样本，然后训练一个分类器wp，通过分类器按照的方式对区域候选样本重新评价，其中xi和fi(x)分别表示第i个区域候选样本的特征和排序分数；加权叠加排序分数最大的前16个区域候选样本并归一化得到显著图Sp；
(3)步骤(2)得到的显著图Sp不能完整的突出显著目标，因此采用超像素进一步优化检测结果。在单幅图像中，显著图Sp中显著值大于0.8的超像素选为正样本，小于0.05的超像素作为负样本，训练一个与步骤(2)中同类型和参数的分类器ws；同时将待处理图像过分割成不同尺度的超像素；根据得到的分类器ws，按照的方式重新为超像素赋予权值，其中si和fi(s)分别表示第i个超像素的特征和显著性值；在多个不同尺度下得到多个显著图最后通过公式融合得到优化后的显著图Ss。
(4)显著图Sp和Ss彼此相互补充，按照的方式加权融合两个显著图，其中用于强调显著图Ss；将S归一化之后得到最终的检测结果。
本发明提出的基于区域候选样本选择的显著性检测方法，在现有先验知识的基础上，通过引入深度特征和分类器并采用由粗到细的选择机制，评价区域候选样本的显著性和目标性，然后又利用超像素进一步优化检测结果，从而可以有效的检测图像中的显著目标。与传统方法相比，检测结果更加准确。特别是对于多目标或者目标与背景很相似的图像，本发明方法的检测结果更加符合人类的视觉感知，得到的显著图也更加准确。
附图说明
图1是本发明方法的基本流程图。
图2是本发明方法具体实施在多目标图像上的检测结果。
图3是本发明方法具体实施在目标与背景较为相似图像上的检测结果。
具体实施方式
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
本发明的构思是：结合现有的先验知识，通过定义用于评价区域候选样本目标性和显著性的评价指标，选择出最优的区域候选样本并用于显著目标检测。在检测过程中，除了传统的中心周围对比度、内部相似度、位置先验等先验知识外，还针对性的从全局和局部的角度评价区域候选样本的轮廓信息。为了更加准确的描述区域候选样本，我们还引入了深度特征，使得检测的结果更加符合人眼视觉感受。进一步的，本发明还引入结构化分类器，通过无监督学习的方式优化选择机制，使得选择出来的样本更具有显著性和目标性。更进一步地，利用超像素优化区域候选样本存在的不足，使得检测结果更加准确。
本发明具体实施如下：
(1)提取待处理图像对应的区域候选样本以及区域候选样本的深度特征；
(2)采用由粗到细的选择机制处理区域候选样本，首先根据多个先验知识定义用于评价区域候选样本目标性和显著性的评价指标，具体的定义如下：
区域候选样本对应的目标区域中心周围对比度(CS)：其中，aij表示超像素i和j之间的相似度，nf和ns分别表示区域候选样本的目标区域和对应的周围背景区域中所包含的超像素的数量；
区域候选样本对应的目标区域内部相似度(HG)：
区域候选样本对应的目标区域全局边界一致性(GE)：其中，和λ为常数，E和P分别表示待处理图像边缘轮廓先验图和区域候选样本的边缘轮廓像素集，函数|*|计算给定集合中所包含样本的数量；
区域候选样本对应的目标区域局部边界一致性(LE)： 其中，表示超像素i中位于区域候选样本前景区域中的像素个数，ni表示超像素i包含的所有像素个数。δ(i)是一个指示函数，用来判断超像素是否包含不同区域的像素，ρ2为常数。
区域候选样本对应的目标区域位置先验(LC)：其中，和cp和ce分别表示区域候选样本和待处理图像边缘轮廓先验图的重心，npb表示区域候选样本的目标区域占据待处理图像边界的像素数量。
根据定义上述的评价指标，对区域候选样本分两个阶段进行排序；
在第一阶段，首先将目标区域大小占图像面积低于3％或者超过85％的区域候选样本去除，然后用上述五个评价指标评价余下的区域候选样本，保留排序分数最大的前40％的区域候选样本进行多尺度聚类；聚类的个数分别为6、10和12；叠加每个聚类中心的所有区域候选样本，采用自适应的阈值二值化叠加的结果，为每个聚类中心产生一个代表样本；
最后再次采用上述五个评价指标评价每个聚类中心的代表样本，输出排序分数最高的样本作为伪真值，用于第二阶段处理；
在第二阶段，根据第一阶段得到的伪真值，在整个图像库中计算区域候选样本与它们伪真值之间的Fmeasure值，每幅图像选择值最大的前三个作为正样本，值最小的后三个作为负样本，然后训练一个具有优化分类排序功能的分类器wp，通过分类器按照的方式对区域候选样本重新评价，其中xi和fi(x)分别表示第i个区域候选样本的特征和排序分数；加权叠加排序分数最大的前16个区域候选样本并归一化得到显著图Sp；
(3)步骤(2)得到的显著图Sp不能完整的突出显著目标，因此采用超像素进一步优化检测结果。在单幅图像中，显著图Sp中显著值大于0.8的超像素选为正样本，小于0.05的超像素作为负样本，再次训练一个与步骤(2)中同类型和参数的分类器ws；同时将待处理图像过分割成不同尺度的超像素；根据得到的分类器ws，按照的方式重新为超像素赋予权值，其中si和fi(s)分别表示第i个超像素的特征和显著性值；在五个不同尺度下得到五个显著图最后通过公式融合得到优化后的显著图Ss。
(4)显著图Sp和Ss彼此相互补充，按照的方式加权融合两个显著图，其中用于强调显著图Ss；将S归一化之后得到最终的检测结果。

Claims (1)

1.一种基于区域样本选择的显著性检测方法，其特征在于，步骤如下：
(1)提取待处理图像对应的区域候选样本以及区域候选样本的深度特征；
(2)采用由粗到细的选择机制处理区域候选样本，首先根据多个先验知识定义用于评价区域候选样本目标性和显著性的评价指标，具体的定义如下：
区域候选样本对应的目标区域中心周围对比度CS：其中，aij表示超像素i和j之间的相似度，nf和ns分别表示区域候选样本的目标区域和对应的周围背景区域中所包含的超像素的数量；
区域候选样本对应的目标区域内部相似度HG：
区域候选样本对应的目标区域全局边界一致性GE：其中，和λ为常数，E和P分别表示待处理图像边缘轮廓先验图和区域候选样本的边缘轮廓像素集，函数|*|计算给定集合中所包含样本的数量；
区域候选样本对应的目标区域局部边界一致性LE： 其中，表示超像素i中位于区域候选样本前景区域中的像素个数，ni表示超像素i包含的所有像素个数；δ(i)是一个指示函数，用来判断超像素是否包含不同区域的像素，ρ2为常数；
区域候选样本对应的目标区域位置先验LC：其中，和cp和ce分别表示区域候选样本和待处理图像边缘轮廓先验图的重心，npb表示区域候选样本的目标区域占据待处理图像边界的像素数量；
根据定义上述的评价指标，对区域候选样本分两个阶段进行排序；
在第一阶段，首先将目标区域大小占图像面积低于3％或者超过85％的区域候选样本去除，然后用上述五个评价指标评价余下的区域候选样本，保留排序分数最大的前40％的区域候选样本进行多尺度聚类；叠加每个聚类中心的所有区域候选样本，采用自适应的阈值二值化叠加的结果，为每个聚类中心产生一个代表样本；
最后再次采用上述五个评价指标评价每个聚类中心的代表样本，输出排序分数最高的样本作为伪真值，用于第二阶段处理；
在第二阶段，根据第一阶段得到的伪真值，在整个图像库中计算区域候选样本与它们伪真值之间的Fmeasure值，选择Fmeasure值最大的前三个作为正样本，Fmeasure值最小的后三个作为负样本，然后训练一个分类器wp，通过分类器按照的方式对区域候选样本重新评价，其中xi和fi(x)分别表示第i个区域候选样本的特征和排序分数；加权叠加排序分数最大的前16个区域候选样本并归一化得到显著图Sp；
(3)步骤(2)得到的显著图Sp不能完整的突出显著目标，因此采用超像素进一步优化检测结果；在单幅图像中，显著图Sp中显著值大于0.8的超像素选为正样本，小于0.05的超像素作为负样本，训练一个与步骤(2)中同类型和参数的分类器ws；同时将待处理图像过分割成不同尺度的超像素；根据得到的分类器ws，按照的方式重新为超像素赋予权值，其中si和fi(s)分别表示第i个超像素的特征和显著性值；在多个不同尺度下得到多个显著图最后通过公式融合得到优化后的显著图Ss；
(4)显著图Sp和Ss彼此相互补充，按照的方式加权融合两个显著图，其中用于强调显著图Ss；将S归一化之后得到最终的检测结果。
CN201710247051.8A 2017-04-17 2017-04-17 一种基于区域候选样本选择的显著性检测方法 Active CN107103608B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710247051.8A CN107103608B (zh) 2017-04-17 2017-04-17 一种基于区域候选样本选择的显著性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710247051.8A CN107103608B (zh) 2017-04-17 2017-04-17 一种基于区域候选样本选择的显著性检测方法

Publications (2)

Publication Number Publication Date
CN107103608A true CN107103608A (zh) 2017-08-29
CN107103608B CN107103608B (zh) 2019-09-27

Family

ID=59675062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710247051.8A Active CN107103608B (zh) 2017-04-17 2017-04-17 一种基于区域候选样本选择的显著性检测方法

Country Status (1)

Country Link
CN (1) CN107103608B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287843A (zh) * 2019-06-18 2019-09-27 清华大学深圳研究生院 一种文物指纹区域选定方法
CN110443257A (zh) * 2019-07-08 2019-11-12 大连理工大学 一种基于主动学习的显著性检测方法
CN110765948A (zh) * 2019-10-24 2020-02-07 长沙品先信息技术有限公司 一种基于无人机的目标检测识别方法及系统
WO2020107717A1 (zh) * 2018-11-30 2020-06-04 长沙理工大学 视觉显著性区域检测方法及装置
CN113505799A (zh) * 2021-06-30 2021-10-15 深圳市慧鲤科技有限公司 显著性检测方法及其模型的训练方法和装置、设备、介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080304740A1 (en) * 2007-06-06 2008-12-11 Microsoft Corporation Salient Object Detection
CN104574402A (zh) * 2015-01-12 2015-04-29 东华大学 一种改进的显著性检测方法
CN105869173A (zh) * 2016-04-19 2016-08-17 天津大学 一种立体视觉显著性检测方法
CN105976378A (zh) * 2016-05-10 2016-09-28 西北工业大学 基于图模型的显著性目标检测方法
CN106056165A (zh) * 2016-06-28 2016-10-26 大连理工大学 一种基于超像素关联性增强Adaboost分类学习的显著性检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080304740A1 (en) * 2007-06-06 2008-12-11 Microsoft Corporation Salient Object Detection
CN104574402A (zh) * 2015-01-12 2015-04-29 东华大学 一种改进的显著性检测方法
CN105869173A (zh) * 2016-04-19 2016-08-17 天津大学 一种立体视觉显著性检测方法
CN105976378A (zh) * 2016-05-10 2016-09-28 西北工业大学 基于图模型的显著性目标检测方法
CN106056165A (zh) * 2016-06-28 2016-10-26 大连理工大学 一种基于超像素关联性增强Adaboost分类学习的显著性检测方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020107717A1 (zh) * 2018-11-30 2020-06-04 长沙理工大学 视觉显著性区域检测方法及装置
CN110287843A (zh) * 2019-06-18 2019-09-27 清华大学深圳研究生院 一种文物指纹区域选定方法
CN110443257A (zh) * 2019-07-08 2019-11-12 大连理工大学 一种基于主动学习的显著性检测方法
CN110443257B (zh) * 2019-07-08 2022-04-12 大连理工大学 一种基于主动学习的显著性检测方法
CN110765948A (zh) * 2019-10-24 2020-02-07 长沙品先信息技术有限公司 一种基于无人机的目标检测识别方法及系统
CN113505799A (zh) * 2021-06-30 2021-10-15 深圳市慧鲤科技有限公司 显著性检测方法及其模型的训练方法和装置、设备、介质

Also Published As

Publication number Publication date
CN107103608B (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
CN109460753B (zh) 一种检测水上漂浮物的方法
CN109117876B (zh) 一种稠密小目标检测模型构建方法、模型及检测方法
Beijbom et al. Automated annotation of coral reef survey images
CN107103608B (zh) 一种基于区域候选样本选择的显著性检测方法
CN106815604B (zh) 基于多层信息融合的注视点检测方法
JP5464244B2 (ja) 画像処理装置、プログラム及び画像処理システム
Bi et al. A semi-automated image analysis procedure for in situ plankton imaging systems
CN104392240A (zh) 一种基于多特征融合的寄生虫虫卵识别方法
CN109977780A (zh) 一种基于深度学习算法的硅藻的检测与识别方法
Marchant et al. Automated analysis of foraminifera fossil records by image classification using a convolutional neural network
CN106355188A (zh) 图像检测方法及装置
CN111860494B (zh) 图像目标检测的优化方法、装置、电子设备和存储介质
CN103984953A (zh) 基于多特征融合与Boosting决策森林的街景图像的语义分割方法
CN103996195A (zh) 一种图像显著性检测方法
CN107977682A (zh) 基于极坐标变换数据增强的淋巴类细胞分类方法及其装置
CN110263712A (zh) 一种基于区域候选的粗精行人检测方法
CN107392929A (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN112819821B (zh) 一种细胞核图像检测方法
CN110008899B (zh) 一种可见光遥感图像候选目标提取与分类方法
CN105469111A (zh) 基于改进的mfa和迁移学习的小样本集的物体分类方法
WO2022247162A1 (zh) 一种基于机器视觉的透明度检测方法
CN108073940B (zh) 一种非结构化环境中的3d目标实例物体检测的方法
CN112215217A (zh) 模拟医师阅片的数字图像识别方法及装置
Yingthawornsuk et al. Automatic Thai Coin Calculation System by Using SIFT
Du et al. Automatic classification of cells in microscopic fecal images using convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant