CN102999926A - 一种基于底层特征融合的图像视觉显著性计算方法 - Google Patents
一种基于底层特征融合的图像视觉显著性计算方法 Download PDFInfo
- Publication number
- CN102999926A CN102999926A CN2012104516570A CN201210451657A CN102999926A CN 102999926 A CN102999926 A CN 102999926A CN 2012104516570 A CN2012104516570 A CN 2012104516570A CN 201210451657 A CN201210451657 A CN 201210451657A CN 102999926 A CN102999926 A CN 102999926A
- Authority
- CN
- China
- Prior art keywords
- fragment
- image
- calculating
- representing
- saliency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 23
- 230000010354 integration Effects 0.000 title abstract 4
- 239000012634 fragment Substances 0.000 claims abstract description 71
- 230000001788 irregular Effects 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 28
- 230000000007 visual effect Effects 0.000 claims description 26
- 230000004927 fusion Effects 0.000 claims description 20
- 239000006185 dispersion Substances 0.000 claims description 8
- 230000005484 gravity Effects 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims 1
- 238000002474 experimental method Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于底层特征融合的图像视觉显著性计算方法,包括以下步骤:1.1)把图像分割成若干不规则碎片;1.2)计算每个碎片颜色特征的独特性;1.3)计算每个碎片颜色特征的分散性;1.4)通过计算每个碎片颜色特征的显著性得到图像的颜色显著性图,进一步得到图像视觉显著性图;1.5)通过计算每个碎片图像的显著性的加权平均,为图像的每一个像素点分配显著性值。本发明能有效地计算图像每个像素的显著性值。
Description
技术领域
本发明涉及无线通讯技术领域,尤其涉及一种基于底层特征融合的图像视觉显著性计算方法。
背景技术
视觉注意力是人类视觉系统重要机制,人类的视觉注意力可以快速有效地检查到图像中显著的区域。因此,在计算机视觉领域模拟人类视觉注意力的显著性检测模型的研究引起了研究者的广泛注意。图像的显著性检测(Saliency detection)被广泛地应用于许多计算机视觉和图像处理应用当中,如图像中感兴趣物体的分割(专利200910046276)、目标识别、目标敏感的图像缩放(专利200910092756)、图像检索(专利200910081069)等。
该领域目前国内相关专利有:基于色彩直方图和全局对比度的图像视觉显著性计算方法(专利号201110062520.1)。该方法仅考虑了颜色特征的独特性,没有考虑颜色特征的分散性、纹理特征的独特性和分散性以及景深对视觉显著性的影响,所以其性能受到了限制。
发明内容
本发明解决的技术问题是如何融合图像多种底层特征,有效地计算图像像素的显著性值。
为了解决以上技术问题,本发明实施例公开了一种基于底层特征融合的图像视觉显著性计算方法,包括以下步骤:
1.1)把图像分割成若干不规则碎片;
1.2)计算每个碎片颜色特征的独特性;
1.3)计算每个碎片颜色特征的分散性;
1.4)通过计算每个碎片颜色特征的显著性得到图像的颜色显著性图,进一步得到图像视觉显著性图;
1.5)通过计算每个碎片图像的显著性的加权平均,为图像的每一个像素点分配显著性值。
进一步,作为优选,颜色特征的独特性具体计算方法如下:
进一步,作为优选,颜色特征的分散性具体计算方法如下:
进一步,作为优选,图像的颜色显著性图具体计算方法如下:
进一步,作为优选,在所述步骤1.4)之后还包括:
5.1)计算每个碎片纹理特征的独特性;
5.2)计算每个碎片纹理特征的分散性;
5.3)通过计算每个碎片纹理特征的显著性得到图像的纹理显著性图;
5.4)融合上述图像特征显著性图得到图像视觉显著性图。
进一步,作为优选,纹理特征的独特性具体计算方法如下:
其中代表计算第i个碎片的纹理特征的独特性,N代表碎片的个数,ti和tj分别代表碎片i和碎片j的纹理描述子,pi和pj分别代表碎片i和碎片j的位置,χ(ti,tj)代表是两个纹理描述子ti和tj的差异,w(pi,pj)是加权函数。
进一步,作为优选,纹理特征的分散性具体计算方法如下:
进一步,作为优选,图像的纹理显著性图具体计算如下:
进一步,作为优选,融合具体计算方法如下:
其中Si代表计算碎片i的显著性,权重系数α满足条件:0≤α≤1;通过上述公式计算每个碎片的显著性就可得到整幅图像的显著性图。
进一步,作为优选,在所述步骤5.3)之后还包括:首先计算图像边缘的模糊程度σ,把模糊程度σ归一化到[0,1]的范围,然后用如下公式求出碎片i的景深:
进一步,作为优选,融合具体计算方法如下:
本发明通过计算颜色特征的独特性和分散性并将它们有效地融合在一起,最终计算出整幅图像的显著性图。本方法在国际现有的最大的测试集上取得了明显优于传统方法的结果。
附图说明
当结合附图考虑时,通过参照下面的详细描述,能够更完整更好地理解本发明以及容易得知其中许多伴随的优点,但此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定,其中:
图1是本发明实施例一种基于底层特征融合的图像视觉显著性计算方法流程示意图。
具体实施方式
参照图1对本发明的实施例进行说明。
为使上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示,一种基于底层特征融合的图像视觉显著性计算方法,包括以下步骤:
S101、用简单线性迭代聚类的方法把输入图像分割成N个不规则“碎片”;
S201、计算每个碎片颜色特征的独特性;
用如下公式计算第i个碎片的颜色独特性:
其中ci和cj分别代表碎片i和碎片j的平均颜色,pi和pj分别代表碎片i和碎片j的位置,w(pi,pj)取高斯加权函数。
S202、计算每个碎片颜色特征的分散性;
用如下公式计算第i个碎片的颜色特征的分散性:
S203、通过计算每个碎片颜色特征的显著性得到图像的颜色显著性图。
用如下公式计算第i个碎片的颜色显著性:
在实验中,kC取3就能得到比较好结果。这样通过计算每个碎片颜色特征的显著性就可以得到图像的颜色显著性图SC。
S301、计算每个碎片纹理特征的独特性;
一般地讲,一个碎片与其周围的碎片差异越大,这个碎片越显著。所以用如下公式计算第i个碎片的纹理特征的独特性:
其中ti和tj分别代表碎片i和碎片j的纹理描述子,pi和pj分别代表碎片i和碎片j的位置,χ(ti,tj)代表是两个纹理描述子ti和tj的差异,w(pi,pj)是加权函数。
描述一个碎片的纹理特征的方法很多,这里以“局部二值模型”(LBP,Local Binary Pattern)直方图为例作为碎片的纹理描述子。具体地讲,对任意一个像素点首先与其周围的8个像素点进行比较得到二值化的“模型”(Pattern),然后再乘以相应的权重,就可以得到这个像素的LBP值,最后统计一个碎片中所有像素的LBP值从而得到统计直方图,用这个直方图作为对应碎片的纹理描述子。χ(ti,tj)代表是两个纹理描述子ti和tj的差异,计算两个纹理描述子的差异的方法有很多种,这里以卡方距离(Chi-square distance)作为计算方法。加权函数w(pi,pj)也有很多种,这里选用高斯加权函数在实验中,σp取0.25就能得到比较好结果。
S302、计算每个碎片纹理特征的分散性;
如果同样的纹理特征分散于整幅图像,则这种纹理特征的显著性较低;反之,如果一种纹理特征在图像中比较集中比较紧凑,则这种纹理特征的显著性较高。用如下公式计算第i个碎片的纹理特征的分散性:
S303、通过计算每个碎片纹理特征的显著性得到图像的纹理显著性图。
用如下公式计算第i个碎片的纹理显著性:
在实验中,kT取3就能得到比较好结果。这样通过计算每个碎片纹理特征的显著性就可以得到图像的纹理显著性图ST。
步骤S401:通过计算每个碎片的相对景深值得到图像的景深图;
首先计算图像边缘的模糊程度σ,把模糊程度σ归一化到[0,1]的范围,然后用如下公式求出碎片i的景深:
S501、融合景深图、纹理显著性图和颜色显著性图得到最终的显著性图;
本发明实施例提出了三种融合景深图、纹理显著性图和颜色显著性图的方法,这三种方法都能取得比较好的效果。
方法一:利用如下公式计算碎片i的显著性:
本方法只利用了纹理显著性图和颜色显著性图的线性组合,权重系数α满足条件:0≤α≤1。通过上述公式计算每个碎片的显著性就可得到整幅图像的显著性图。
方法二:利用如下公式计算碎片i的显著性:
通过上述公式计算每个碎片的显著性就可得到整幅图像的显著性图。
方法三:利用如下公式计算碎片i的显著性:
本方法首先利用了纹理显著性图和颜色显著性图的线性组合,然后再与景深图相乘。在实验中权重系数α取0.5可以得到较好结果。通过上述公式计算每个碎片的显著性就可得到整幅图像的显著性图。
S601、为图像的每一个像素点分配显著性值。利用如下公式计算出像素i的显著性值:
在实验中,为了得到较好的结果权重函数wij可取如下高斯函数:
利用上述公式依次计算出每一个像素值的显著性值,从而得到最终的图像显著性图。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这些具体实施方式仅是举例说明,本领域的技术人员在不脱离本发明的原理和实质的情况下,可以对上述方法和系统的细节进行各种省略、替换和改变。例如,合并上述方法步骤,从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此,本发明的范围仅由所附权利要求书限定。
Claims (11)
1.一种基于底层特征融合的图像视觉显著性计算方法,其特征在于,包括以下步骤:
1.1)把图像分割成若干不规则碎片;
1.2)计算每个碎片颜色特征的独特性;
1.3)计算每个碎片颜色特征的分散性;
1.4)通过计算每个碎片颜色特征的显著性得到图像的颜色显著性图,进一步得到图像视觉显著性图;
1.5)通过计算每个碎片图像的显著性的加权平均,为图像的每一个像素点分配显著性值。
4.根据权利要求1所述的基于底层特征融合的图像视觉显著性计算方法,其特征在于,所述图像的颜色显著性图具体计算方法如下:
其中代表计算第i个碎片的颜色显著性,kC是比重系数。
5.根据权利要求1所述的基于底层特征融合的图像视觉显著性计算方法,其特征在于,在所述步骤1.4)之后还包括:
5.1)计算每个碎片纹理特征的独特性;
5.2)计算每个碎片纹理特征的分散性;
5.3)通过计算每个碎片纹理特征的显著性得到图像的纹理显著性图;
5.4)融合上述图像特征显著性图得到图像视觉显著性图。
9.根据权利要求5所述的基于底层特征融合的图像视觉显著性计算方法,其特征在于,所述融合具体计算方法如下:
其中Si代表计算碎片i的显著性,权重系数α满足条件:0≤α≤1;通过上述公式计算每个碎片的显著性就可得到整幅图像的显著性图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210451657.0A CN102999926B (zh) | 2012-11-12 | 2012-11-12 | 一种基于底层特征融合的图像视觉显著性计算方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210451657.0A CN102999926B (zh) | 2012-11-12 | 2012-11-12 | 一种基于底层特征融合的图像视觉显著性计算方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102999926A true CN102999926A (zh) | 2013-03-27 |
CN102999926B CN102999926B (zh) | 2016-06-29 |
Family
ID=47928457
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210451657.0A Active CN102999926B (zh) | 2012-11-12 | 2012-11-12 | 一种基于底层特征融合的图像视觉显著性计算方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102999926B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104732534A (zh) * | 2015-03-18 | 2015-06-24 | 中国人民公安大学 | 一种图像中显著目标的抠取方法及系统 |
CN105049790A (zh) * | 2015-06-18 | 2015-11-11 | 中国人民公安大学 | 视频监控系统图像获取方法及装置 |
CN105118051A (zh) * | 2015-07-29 | 2015-12-02 | 广东工业大学 | 一种应用于静态图像人体分割的显著性检测方法 |
CN105141924A (zh) * | 2015-09-17 | 2015-12-09 | 成都时代星光科技有限公司 | 基于4g技术的无线图像监控系统 |
CN105765622A (zh) * | 2013-09-13 | 2016-07-13 | 斯特拉克斯私人有限公司 | 用于给图像分配颜色的方法和装置 |
CN105913070A (zh) * | 2016-04-29 | 2016-08-31 | 合肥工业大学 | 一种基于光场相机的多线索显著性提取方法 |
CN108354818A (zh) * | 2017-11-06 | 2018-08-03 | 田孝东 | 鼻腔污物实时检测器 |
DE112017000273T9 (de) | 2016-08-03 | 2019-01-03 | Jiangsu University | Ausgeprägtheitsbasiertes Verfahren zum Extrahieren eines Straßenziels aus einem Nachtsicht-Infrarotbild |
CN110006104A (zh) * | 2018-08-02 | 2019-07-12 | 永康市异造科技有限公司 | 空调外机机身清洁平台 |
CN110141494A (zh) * | 2019-06-26 | 2019-08-20 | 东莞市精确电子科技有限公司 | 一种洗鼻器及洗鼻方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102129693A (zh) * | 2011-03-15 | 2011-07-20 | 清华大学 | 基于色彩直方图和全局对比度的图像视觉显著性计算方法 |
JP2012123631A (ja) * | 2010-12-08 | 2012-06-28 | Canon Inc | 注目領域検出方法、注目領域検出装置、及びプログラム |
-
2012
- 2012-11-12 CN CN201210451657.0A patent/CN102999926B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012123631A (ja) * | 2010-12-08 | 2012-06-28 | Canon Inc | 注目領域検出方法、注目領域検出装置、及びプログラム |
CN102129693A (zh) * | 2011-03-15 | 2011-07-20 | 清华大学 | 基于色彩直方图和全局对比度的图像视觉显著性计算方法 |
Non-Patent Citations (2)
Title |
---|
FEDERICO PERAZZI等: "Saliency Filters: Contrast Based Filtering for Salient Region Detection", 《COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 2012 IEEE CONFERENCE ON》 * |
郑娅峰等: "自动特征选择和加权的图像显著区域检测", 《计算机工程与应用》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105765622A (zh) * | 2013-09-13 | 2016-07-13 | 斯特拉克斯私人有限公司 | 用于给图像分配颜色的方法和装置 |
CN104732534B (zh) * | 2015-03-18 | 2017-06-20 | 中国人民公安大学 | 一种图像中显著目标的抠取方法及系统 |
CN104732534A (zh) * | 2015-03-18 | 2015-06-24 | 中国人民公安大学 | 一种图像中显著目标的抠取方法及系统 |
CN105049790A (zh) * | 2015-06-18 | 2015-11-11 | 中国人民公安大学 | 视频监控系统图像获取方法及装置 |
CN105118051A (zh) * | 2015-07-29 | 2015-12-02 | 广东工业大学 | 一种应用于静态图像人体分割的显著性检测方法 |
CN105118051B (zh) * | 2015-07-29 | 2017-12-26 | 广东工业大学 | 一种应用于静态图像人体分割的显著性检测方法 |
CN105141924A (zh) * | 2015-09-17 | 2015-12-09 | 成都时代星光科技有限公司 | 基于4g技术的无线图像监控系统 |
CN105913070A (zh) * | 2016-04-29 | 2016-08-31 | 合肥工业大学 | 一种基于光场相机的多线索显著性提取方法 |
CN105913070B (zh) * | 2016-04-29 | 2019-04-23 | 合肥工业大学 | 一种基于光场相机的多线索显著性提取方法 |
DE112017000273T9 (de) | 2016-08-03 | 2019-01-03 | Jiangsu University | Ausgeprägtheitsbasiertes Verfahren zum Extrahieren eines Straßenziels aus einem Nachtsicht-Infrarotbild |
US10635929B2 (en) | 2016-08-03 | 2020-04-28 | Jiangsu University | Saliency-based method for extracting road target from night vision infrared image |
CN108354818A (zh) * | 2017-11-06 | 2018-08-03 | 田孝东 | 鼻腔污物实时检测器 |
CN110006104A (zh) * | 2018-08-02 | 2019-07-12 | 永康市异造科技有限公司 | 空调外机机身清洁平台 |
CN110141494A (zh) * | 2019-06-26 | 2019-08-20 | 东莞市精确电子科技有限公司 | 一种洗鼻器及洗鼻方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102999926B (zh) | 2016-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102999926B (zh) | 一种基于底层特征融合的图像视觉显著性计算方法 | |
CN111144242B (zh) | 一种三维目标检测方法、装置及终端 | |
Dong et al. | An efficient iterative algorithm for image thresholding | |
CN104966085B (zh) | 一种基于多显著特征融合的遥感图像感兴趣区域检测方法 | |
US20210374453A1 (en) | Segmenting objects by refining shape priors | |
US10346996B2 (en) | Image depth inference from semantic labels | |
CN110309842B (zh) | 基于卷积神经网络的物体检测方法及装置 | |
Singh et al. | A novel approach to combine features for salient object detection using constrained particle swarm optimization | |
CN106373162B (zh) | 一种基于显著性融合与传播的显著物体检测方法 | |
WO2020252971A1 (zh) | 一种智能驾驶控制方法及装置、电子设备 | |
CN107564022A (zh) | 基于贝叶斯融合的视频显著性检测方法 | |
CN110659664A (zh) | 一种基于ssd的高精度识别小物体的方法 | |
CN113516053B (zh) | 一种具有旋转不变性的舰船目标精细化检测方法 | |
CN110263877B (zh) | 场景文字检测方法 | |
Yue et al. | Texture extraction for object-oriented classification of high spatial resolution remotely sensed images using a semivariogram | |
CN103903275A (zh) | 利用小波融合算法改进图像分割效果的方法 | |
Guo et al. | Image esthetic assessment using both hand-crafting and semantic features | |
Ding et al. | Efficient vanishing point detection method in complex urban road environments | |
US20170193682A1 (en) | Method and apparatus for generating a composite image based on an ambient occlusion | |
Fan et al. | Road vanishing point detection using weber adaptive local filter and salient‐block‐wise weighted soft voting | |
Wang et al. | Deep leaning-based ultra-fast stair detection | |
Shi et al. | Segment-based adaptive window and multi-feature fusion for stereo matching | |
CN116778169A (zh) | 基于混合特征提取的遥感图像语义分割方法、装置和设备 | |
US20220262097A1 (en) | Label estimation device, label estimation method, and label estimation program | |
Osuna-Coutiño et al. | Structure extraction in urbanized aerial images from a single view using a CNN-based approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20130327 Assignee: Beijing Yongxin Norhua Science & Technology Co.,Ltd. Assignor: Beijing Jiaotong University Contract record no.: X2023980048503 Denomination of invention: A method for calculating visual saliency of images based on low-level feature fusion Granted publication date: 20160629 License type: Common License Record date: 20231124 |