CN103996198B - 复杂自然环境下感兴趣区域的检测方法 - Google Patents
复杂自然环境下感兴趣区域的检测方法 Download PDFInfo
- Publication number
- CN103996198B CN103996198B CN201410249758.9A CN201410249758A CN103996198B CN 103996198 B CN103996198 B CN 103996198B CN 201410249758 A CN201410249758 A CN 201410249758A CN 103996198 B CN103996198 B CN 103996198B
- Authority
- CN
- China
- Prior art keywords
- mrow
- notable
- interest
- area
- msubsup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明涉及一种基于低层次图像信息和中层次图像信息相结合的自底向上的感兴趣区域(Region of Interest，简称ROI)检测方法，该方法首先采用Harris算子检测角点进而得到凸包边界，利用凸包区域与超像素聚类结果计算中层次信息显著图；然后将图像从RGB空间转换到CIELab空间，使用高斯差分滤波器对图像进行滤波，得到低层次信息显著图；最后将低层次图像信息与中层次图像信息进行加权融合得到图像的显著图。本发明采用将超像素聚类计算的中层次图像信息与差分滤波器滤波计算的低层次图像信息相结合的方法，实现了对复杂自然环境下的感兴趣区域的准确定位，检测得到的感兴趣物体边缘清晰，同时有效地抑制背景噪声，适用性强。
Description
技术领域
本发明涉及一种复杂自然环境下感兴趣区域的检测方法，该方法对与背景对比度不同、背景复杂度不同的感兴趣区域以及不同面积的感兴趣区域的图像都具有很好的检测效果，可应用于图像压缩与编码、目标检测与识别、图像检索以及机器人主动视觉等多个图像处理领域。
背景技术
目前人们正处于信息大爆炸时代，每秒钟接受大量的视觉信息流(108-109比特)，因此如何更有效地分析和处理海量的图像信息成为重要的研究内容之一。研究发现，人类视觉系统(Human Visual System，简称HVS)处理一个较为复杂的场景时，首先将其视觉注意力集中于该场景的少数几个对象，即感兴趣区域。这种处理机制会使处理能力和容量都有限的大脑对这些显著对象进行优先处理，并对非显著部分进行舍弃或者暂时忽略，力求在最短时间内获取场景中的主要信息，以便对场景的高层语义内容进行快速了解、认知与分析。目前图像处理领域中，感兴趣区域的检测应用于图像检索，由于在大量的图像数据中自动检索出目标图像，仅依靠人工标记的关键词进行搜索已难以满足现代化电子技术的需求，然而使用客观的图像内容属性检索会受到背景因素的干扰，所以只对图像中的感兴趣区域进行匹配，既可以提高效率，又可以获得较好的效果；感兴趣区域的检测应用于目标检测与识别，先识别多个与目标相似的感兴趣区域，然后根据显著性的高低顺序进行推断，最终达到目标识别，整个过程通过感兴趣区域的自动检测，有效地屏蔽了冗余信息对识别效率的影响。另外，感兴趣区域的检测在三维图像场景渲染、机器人主动视觉、视频中运动目标的检测等多个图像处理领域中都有着极其重要的应用价值。
感兴趣区域检测对象由最初的遥感图像扩展复杂自然环境下的图像，由灰度图扩展到彩色图，背景及感兴趣物体变得复杂多样。因此对于感兴趣区域的边缘要求越来越高，加大了感兴趣区域检测的难度。目前针对感兴趣区域的检测方法主要分为两类：基于空间域和变换域的检测方法。基于空间域的检测方法主要是利用直方图计算全局对比度，再计算全局颜色差异度的方法，虽然对感兴趣区域定位较准确，但计算量较大、显著物边缘不清晰；基于变换域感兴趣区域检测方法主要采用不同尺度的高斯差分滤波器组获得感兴趣区域，此类方法得到的感兴趣区域边缘清晰，但显著图中背景区域存在大量噪声。此外传统方法对图像进行降采样后提取特征如颜色、方向、灰度等，通过“中心-周边”算子对多尺度的特征进行显著性度量，最终融合得到显著图。这种基于生物学结构的方法得到的显著图降低了分辨率，其感兴趣区域定位不准确、边缘不清晰。
现有方法的主要缺陷是感兴趣区域显著度不突出、显著物边缘不清晰及显著图背景中存在噪声。针对上述方法中存在的不足，本发明提出了一种将低层次图像信息和中层次图像信息相结合的自底向上的感兴趣区域检测方法，该方法利用超像素聚类保证了感兴趣区域定位准确、边缘清晰，高斯差分滤波使感兴趣区域局部信息更完整，实现了自然环境下感兴趣区域的检测。
发明内容
为了克服现有方法的不足，本发明提出了一种能够准确检测复杂环境下感兴趣区域的检测方法，该方法对不同面积的感兴趣区域、与背景对比度和背景复杂程度不同的感兴趣区域的检测均能准确检测。本发明采用如下的技术方案：
1.输入自然图像，利用Harris算子检测彩色图像的角点；
2.去除距离图像边界5个像素以内的角点，使用凸包边界包围所有剩余角点，得到凸包区域；
3.采用SLIC(Simple Linear Iterative Clustering)超像素分割算法对图像进行分割，分割出200个超像素块；
4.对得到的超像素进行k均值聚类，计算各类与凸包区域的公共面积与自身面积比率得到中层次信息显著图；
5.使用高斯差分滤波器对原图像进行滤波后，计算得到低层次信息显著图；
6.对中层次信息显著图和低层次信息显著图加权融合，通过动态阈值分割输出感兴趣区域。
本发明具有如下的技术效果：
1.定位准确。本发明在检测过程中，首先采用Harris算子检测图像角点，粗略定位感兴趣区域，然后超像素聚类后与凸包区域进行面积比较计算中层次信息显著图，即实现了图像显著物的精确定位。
2.边界清晰。本发明采用超像素聚类与图像滤波算法结合的方法可以得到边缘清晰感兴趣区域。
3.适用性强。对与背景对比度不同和背景复杂度不同的感兴趣区域以及不同面积的感兴趣区域的自然图像均具有很好的检测效果。
附图说明
图1：本发明的总流程图；
图2：彩色自然图像；
图3：凸包边界图像；
图4：中层次信息显著图；
图5：低层次信息显著图；
图6：感兴趣区域图；
图7：三类基本自然图像及感兴趣区域检测结果图，其中图7-1为小显著物的自然图像及其感兴趣区域图，图7-2为大显著物的自然图像及其感兴趣区域图，图7-3为单个显著物的自然图像及其感兴趣区域图，图7-4为多个显著物的自然图像及其感兴趣区域图，图7-5为显著物与背景对比度弱的自然图像及其感兴趣区域图，图7-6为显著物与背景对比度强的自然图像及其感兴趣区域图。
具体实施方式
本发明的流程如图1所示，自然图像中的感兴趣区域通常有两个显著特征：一是与背景之间有较强的对比度，心理学研究表明人类视觉系统优先处理的区域或是能产生新奇刺激的区域或是包含观察者自己期待的区域包含具有强烈对比度的区域；二是相对图像整体而言具有清晰的边缘，分辨率高的区域相比模糊区域更吸引人的注意。本发明利用上述两个特征采用中层次图像信息与低层次图像信息相结合的复杂自然环境下感兴趣区域进行检测，该方法包含两个关键部分：其一，采用高斯函数差分滤波器对图像进行滤波，获取图像中与背景之间具有较强对比度的区域，实现了对低层次信息的有效利用，增强了局部显著性，并且补充中层次显著图感兴趣区域的边缘；其二，为了突出图像中具有清晰边缘的区域，采用超像素聚类算法，通过计算各类在凸包区域内所占的比例获得中层次显著信息。下面结合附图，对本发明技术方案的具体实施过程加以说明。
1.中层次信息显著图
(1)彩色图像角点检测
角点能够很好地概括图像中物体的轮廓，而角点检测可以利用图像的局部几何信息很好地描述图像的形状特征，其基本思想是通过图像局部的灰度变化量来判断角点。由于角点常常出现在显著物的周围，所以本发明采用彩色Harris角点检测算子进行彩色角点检测。
(2)凸包边界的构建
对得到的彩色角点进行Delaunay三角剖分，取其最外围索引作为包含了所有彩色角点的凸包边界，凸包边界内的区域定位为粗略感兴趣区域(如图3)。
(3)先验概率分布的计算
采用SLIC方法计算彩色图像的超像素，超像素包含了和它色素相近的一簇像素，既能保留边缘信息避免图像模糊，又可以利用图像的中层次信息进行检测。使用k均值算法对超像素进行聚类，聚类后定义每个像素先验概率的显著度公式为：
其中，cluster为聚类中类内的像素个数，hull为凸包区域包含的像素个数，聚类得到的区域与凸包区域相重合的像素数目与该像素所在的聚类区域的像素数总和之比就是该像素显著度的先验概率，从而获得中层次信息显著图Salm(如图4)。
2.低层次信息显著图
中层次信息显著图能较准确定位感兴趣区域，但其感兴趣区域的内部显著性较低，边缘细节有部分缺失，其主要原因是中层次信息对局部区域的对比度不敏感。因此，为弥补中层次信息显著图局部显著度较低和边缘细节缺失的缺陷，本发明采用高斯差分滤波来提升感兴趣区域内部的显著度，同时补充中层次信息显著图的边缘细节。
(1)高斯差分滤波
使用高斯差分滤波器DoG对原图像I进行滤波后得到图像If，其公式为：
If(x，y)＝I(x，y)*DoG(x，y)
其中
σ1、σ2表示高斯标准差，带宽为1.6(即σ1∶σ2＝1.6)。
(2)空间变换
滤波后的图像If转化到CIELab空间，得到CIELab空间的三个分量l、a、b。
(3)均值计算
计算CIELab空间中l、a、b各个通道的所有像素点均值lm、am、bm。
(4)低层次信息显著图的计算
CIELab空间中的三分量l、a、b与其各通道内所有像素均值lm、am、bm，计算低层信息显著图Sall(如图5)，其公式为：
Sall＝(l-lm)2+(a-am)2+(b-bm)2
3.获取感兴趣区域
将中层次信息显著图和低层次信息显著图进行加权融合得到感兴趣区域Sal(如图6)，其计算公式为：
Sal＝α·Salm+(1-α)·Sall
其中α为权重因子，α＝0.5。
本发明提出一种低层次图像信息和中层次图像信息相结合的自底向上的感兴趣区域检测的方法，该方法利用超像素聚类保证了感兴趣区域定位准确、边缘清晰，采用高斯差分滤波使感兴趣区域局部信息更完整，实现了自然环境下感兴趣区域的检测。
Claims (1)
1.复杂自然环境下感兴趣区域检测方法，所述方法包括下列步骤：
步骤1：输入自然图像，利用Harris算子检测彩色图像的角点，去除距离图像边界5个像素内的角点，对得到的彩色角点进行Delaunay三角剖分，取其最外围索引作为包含了所有彩色角点的凸包边界，使用凸包边界包围所有剩余角点，得到凸包区域；
步骤2：采用SLIC超像素分割算法对图像进行分割，使用k均值算法对超像素进行聚类，聚类得到的区域与凸包区域相重合的像素数目与该像素所在的聚类区域的像素数总和之比就是该像素显著度的先验概率，从而获得中层次信息显著图Salm，其公式为：
<mrow>
<msub>
<mi>Sal</mi>
<mi>m</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mo>|</mo>
<mi>c</mi>
<mi>l</mi>
<mi>u</mi>
<mi>s</mi>
<mi>t</mi>
<mi>e</mi>
<mi>r</mi>
<mo>&cap;</mo>
<mi>h</mi>
<mi>u</mi>
<mi>l</mi>
<mi>l</mi>
<mo>|</mo>
</mrow>
<mrow>
<mo>|</mo>
<mi>c</mi>
<mi>l</mi>
<mi>u</mi>
<mi>s</mi>
<mi>t</mi>
<mi>e</mi>
<mi>r</mi>
<mo>|</mo>
</mrow>
</mfrac>
</mrow>
其中，cluster为聚类中类内的像素个数，hull为凸包区域包含的像素个数；
步骤3：计算低层信息显著图Sall，包括以下步骤：
步骤3-1：使用高斯差分滤波器DoG对原图像I进行滤波后得到图像If，其公式为：
If(x，y)＝I(x，y)*DoG(x，y)
其中
<mrow>
<mi>D</mi>
<mi>o</mi>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<msubsup>
<mi>&sigma;</mi>
<mn>1</mn>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<msubsup>
<mi>&sigma;</mi>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<msubsup>
<mi>&sigma;</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<msubsup>
<mi>&pi;&sigma;</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
</mrow>
</mfrac>
<msup>
<mi>e</mi>
<mrow>
<mo>-</mo>
<mfrac>
<mrow>
<mo>(</mo>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mrow>
<mn>2</mn>
<msubsup>
<mi>&sigma;</mi>
<mi>i</mi>
<mn>2</mn>
</msubsup>
</mrow>
</mfrac>
</mrow>
</msup>
<mo>,</mo>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>2</mn>
</mrow>
σ1、σ2表示高斯标准差，带宽为1.6，即σ1∶σ2＝1.6；
步骤3-2：滤波后的图像If转化到CIELab空间，得到CIELab空间的三个分量l、a、b；
步骤3-3：计算CIELab空间中l、a、b各个通道的所有像素点均值Im、am、bm；
步骤3-4：计算低层信息显著图Sall，其公式为：
Sall＝(l-lm)2+(a-am)2+(b-bm)2
步骤4：将中层次信息显著图和低层次信息显著图进行加权融合得到感兴趣区域Sal，其计算公式为：
Sal＝α·Salm+(1-α)·Sall
其中α为权重因子，α＝0.5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410249758.9A CN103996198B (zh) | 2014-06-04 | 2014-06-04 | 复杂自然环境下感兴趣区域的检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410249758.9A CN103996198B (zh) | 2014-06-04 | 2014-06-04 | 复杂自然环境下感兴趣区域的检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103996198A CN103996198A (zh) | 2014-08-20 |
| CN103996198B true CN103996198B (zh) | 2017-11-21 |
Family
ID=51310353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410249758.9A Active CN103996198B (zh) | 2014-06-04 | 2014-06-04 | 复杂自然环境下感兴趣区域的检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103996198B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104680546A (zh) * | 2015-03-12 | 2015-06-03 | 安徽大学 | 一种图像显著目标检测方法 |
| CN104867118B (zh) * | 2015-05-15 | 2017-06-20 | 湖南大学 | 一种用于增强图像标记效果的多尺度级联层次模型方法 |
| CN105469088B (zh) * | 2015-11-17 | 2018-10-19 | 西北工业大学 | 一种适用于目标识别的物体预测区域优化方法 |
| CN105574857B (zh) * | 2015-12-11 | 2019-02-15 | 小米科技有限责任公司 | 图像分析方法及装置 |
| CN106203428B (zh) * | 2016-07-05 | 2019-04-26 | 武汉大学 | 基于模糊估计融合的图像显著性检测方法 |
| CN106203430B (zh) * | 2016-07-07 | 2017-11-03 | 北京航空航天大学 | 一种基于前景聚集度和背景先验的显著性物体检测方法 |
| CN106874917A (zh) * | 2017-02-22 | 2017-06-20 | 南京邮电大学 | 一种基于Harris角点的显著性目标检测方法 |
| CN107025672A (zh) * | 2017-03-30 | 2017-08-08 | 上海理工大学 | 一种基于改进凸包的显著性检测方法 |
| CN107633258B (zh) * | 2017-08-21 | 2020-04-10 | 北京精密机电控制设备研究所 | 一种基于前馈特征提取的深度学习识别系统及方法 |
| CN109960979A (zh) * | 2017-12-25 | 2019-07-02 | 大连楼兰科技股份有限公司 | 基于图像分层技术的车辆检测方法 |
| CN108345835B (zh) * | 2018-01-15 | 2022-07-12 | 上海大学 | 一种基于仿复眼感知的目标识别方法 |
| CN109033929B (zh) * | 2018-02-05 | 2019-05-17 | 陈小青 | 一种查处未成年人危险驾驶行为的方法 |
| CN109166145B (zh) * | 2018-08-10 | 2020-12-11 | 中国农业大学 | 一种基于聚类分割的果树叶片生长参数提取方法及系统 |
| CN109544583B (zh) * | 2018-11-23 | 2023-04-18 | 广东工业大学 | 一种提取皮革图像感兴趣区域的方法、装置及设备 |
| CN110415208B (zh) * | 2019-06-10 | 2023-10-17 | 西安电子科技大学 | 一种自适应目标检测方法及其装置、设备、存储介质 |
| CN111091071B (zh) * | 2019-11-27 | 2023-12-01 | 山东工商学院 | 基于探地雷达双曲波拟合的地下目标检测方法及系统 |
| CN111563513B (zh) * | 2020-05-15 | 2022-06-24 | 电子科技大学 | 基于注意力机制的散焦模糊检测方法 |
| CN112150512B (zh) * | 2020-09-30 | 2023-12-15 | 中国科学院上海微系统与信息技术研究所 | 融合背景差分法和聚类法的弹着点定位方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102722891B (zh) * | 2012-06-12 | 2014-08-27 | 大连理工大学 | 一种图像显著度检测的方法 |
| CN102867313B (zh) * | 2012-08-29 | 2015-04-22 | 杭州电子科技大学 | 一种融合区域颜色和HoG特征的视觉显著性检测方法 |
| CN103065298B (zh) * | 2012-12-20 | 2015-07-29 | 杭州电子科技大学 | 一种模拟视网膜滤波的视觉显著性检测方法 |
-
2014
- 2014-06-04 CN CN201410249758.9A patent/CN103996198B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN103996198A (zh) | 2014-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103996198B (zh) | 复杂自然环境下感兴趣区域的检测方法 | |
| CN107944442B (zh) | 基于改进卷积神经网络的对象检测装置及方法 | |
| CN108921066B (zh) | 基于特征融合卷积网络的光学遥感图像舰船检测方法 | |
| CN105550685B (zh) | 基于视觉注意机制的大幅面遥感影像感兴趣区域提取方法 | |
| CN103927758B (zh) | 一种基于对比度与角点最小凸包的显著性检测方法 | |
| CN104408711B (zh) | 一种基于多尺度区域融合的显著区域检测方法 | |
| CN103914699A (zh) | 一种基于色彩空间的自动唇彩的图像增强的方法 | |
| CN110765833A (zh) | 一种基于深度学习的人群密度估计方法 | |
| CN107705288A (zh) | 伪目标运动强干扰下的危险气体泄漏红外视频检测方法 | |
| Casanova et al. | Texture analysis using fractal descriptors estimated by the mutual interference of color channels | |
| CN104392233B (zh) | 一种基于区域的图像显著图提取方法 | |
| CN103632153B (zh) | 一种基于区域的图像显著图提取方法 | |
| CN105678735A (zh) | 一种用于雾天图像的目标显著性检测方法 | |
| CN102156881B (zh) | 基于多尺度图像相位信息的海难搜救目标检测方法 | |
| Choi et al. | A performance comparison of RGB, NIR, and depth images in immature citrus detection using deep learning algorithms for yield prediction | |
| CN108549901A (zh) | 一种基于深度学习的快速迭代目标检测方法 | |
| CN106682678A (zh) | 一种基于支撑域的图像角点检测和分类方法 | |
| CN106529441B (zh) | 基于模糊边界分片的深度动作图人体行为识别方法 | |
| CN109117717A (zh) | 一种城市行人检测方法 | |
| CN106355596B (zh) | 一种融合均匀颜色信息和复合感受野模型的边缘检测方法 | |
| CN106203448A (zh) | 一种基于非线性尺度空间的场景分类方法 | |
| CN105930793A (zh) | 一种基于sae特征可视化学习的人体检测方法 | |
| Fu et al. | Personality trait detection based on ASM localization and deep learning | |
| CN112613427B (zh) | 基于视觉信息流分区投射编码模型的道路障碍物检测方法 | |
| CN106778504A (zh) | 一种行人检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211208 Address after: 250031 room 702-a19, 7th floor, building 4, area A3, Hanyu Jingu, Tianqiao District, Jinan City, Shandong Province Patentee after: Shanyou digital technology (Shandong) Co.,Ltd. Address before: No. 399 Bingshui Road, Xiqing District, Tianjin, Tianjin Patentee before: TIANJIN POLYTECHNIC University |
|
| TR01 | Transfer of patent right |