CN104700412A - 一种视觉显著图的计算方法 - Google Patents
一种视觉显著图的计算方法 Download PDFInfo
- Publication number
- CN104700412A CN104700412A CN201510116370.6A CN201510116370A CN104700412A CN 104700412 A CN104700412 A CN 104700412A CN 201510116370 A CN201510116370 A CN 201510116370A CN 104700412 A CN104700412 A CN 104700412A
- Authority
- CN
- China
- Prior art keywords
- saliency map
- saliency
- matrix
- image
- visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000000007 visual effect Effects 0.000 title claims abstract description 35
- 239000011159 matrix material Substances 0.000 claims description 30
- 238000010606 normalization Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000001131 transforming effect Effects 0.000 claims description 3
- 108091006146 Channels Proteins 0.000 description 13
- 238000001514 detection method Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000000977 primary visual cortex Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种视觉显著图的计算方法，首先采用Itti模型，生成图像的颜色显著图和亮度显著图，然后利用结构张量，有效的提取边缘和角点显著图，经过线性组合生成轮廓显著图，最后通过将特征显著图进行规范化、线性组合，得到最终显著图。本发明采用了轮廓显著图的方法，使得所得到的视觉显著图更加清晰，在显著目标的定位方面更加精确，并且在计算效率方面也得到了提升。
Description
技术领域
本发明涉及一种计算机视觉算法，具体涉及一种视觉显著图的计算方法。
背景技术
视觉显著性是人类视觉注意机制的基础，人在观察图像时总是将注意焦点置于显著目标区域，因而关于显著性目标检测和视觉注意机制的研究往往是紧密关联的。视觉显著性分析对于移动机器人、监控、快速物体识别、缺陷检测、图像拼接、视频压缩等领域有着广阔的运用前景，而视觉显著图就是视觉显著性分析的结果。现有视觉显著图计算模型大体可以分为两类：自底向上的模型和自顶向下的模型。这主要是源于一直以来认知心理学家与神经生物学家将人类的视觉注意机制常可以分为两个阶段：(1)自底向上的、数据驱动的显著性目标检测；(2)自顶向下的、任务驱动的显著性目标检测。
在计算效率方面，自底向上的模型的计算速度一般远快于自顶向下的模型；此外，自底向上的显著图生成模型也受到近期研究成果的支持：北京大学课题组发现视觉显著图完全可以由初级视皮层的活动预测。
在自底向上的视觉显著图计算模型和方法中，比较有代表性的包括：Itti模型、GBVS模型、DVA方法、AIM方法、Global-Contrast方法、Image Signature方法等。Itti模型是由Itti和Koch受生物视觉系统的神经结构和特性启发而建立的视觉注意模型。Itti模型在多个尺度上分别提取亮度、颜色、方向特征，分别形成上述三个特征的显著图后再将三个特征显著图融合形成最终视觉显著图；Harel等人在2006年提出了基于图论的GBVS模型，该模型包括两个部分：首先形成一定的特征通道激活的图，然后采用与其他激活图就显著性进行组合的方式进行归一化；Hou Xiaodi等人在2008年提出了DVA方法，该方法中提出了ICL(Incremental Coding Length)用以测量特征的熵增益，通过选择具有大的编码长度增量的特征，计算模型可以获得静态和动态图像的显著性；Bruce等人在2009年提出了AIM方法，该方法基于信息论对显著性、视觉注意、和视觉搜索过程进行建模；程明明在2011年提出了一种基于全局对比度的显著图计算方法，该方法在计算中对任一像素依据其与其他像素的色彩差异来计算该像素的显著性值；Hou Xiaodi等人在2012年又提出了一种被称为Image Signature 的图像描绘子，该描绘子被用于近似图像前景。
经典的Itti模型在视觉显著性的相关应用中被广泛使用，该显著图基于颜色、亮度、方向特征，但方向显著图生成过程需通过二维Gabor滤波器提取特征并计算出24张显著图，因而影响了计算效率。Itti模型采用中央-周边差的方式提取显著信息，其本质在于提取高对比度的信息作为显著信息。另一方面，Itti模型由于采用跨尺度组合的方式生成特征显著图，使得显著图中容易丢失包括边缘与角点在内的轮廓信息，但图像中的目标轮廓通常是高对比度区域，也包含重要的显著性信息。
发明内容
本发明的发明目的是提供一种视觉显著图的计算方法，能够提高最终视觉显著图的准确性和计算效率。
为达到上述发明目的，本发明采用的技术方案是：一种视觉显著图的计算方法，具有如下步骤：
步骤一：对输入图像 采用Itti模型中的颜色通道和亮度通道的计算方法，得到图像的颜色显著图与亮度显著图；
步骤二：对于给定的图像进行缩放，将其尺寸变换至期望显著图的尺寸，计算缩放后图像中每一位置的线性结构张量矩阵，其具体形式为：
其中，为标准差为的高斯核函数，为卷积运算，对于彩色图像，线性结构张量矩阵定义为：
其中，分别表示三个颜色通道的图像，将任一线性结构张量矩阵表示为的形式,求其特征值，
通过对特征值的线性组合、归一化得到边缘显著图A与角点显著图B；
步骤三：对边缘显著图与角点显著图进行线性组合，生成轮廓显著图C；
步骤四：对已有的颜色、亮度、轮廓显著图采用Itii模型的规范化方法进行规范化；
步骤五：将各通道的显著图线性组合得到最终显著图S。
上述技术方案中，所述步骤二中的边缘显著图与角点显著图的获取过程为：
（1）将任一线性结构张量矩阵表示为的形式,求其特征值；
（2）计算图像中所有像素位置的，构成矩阵M，计算图像中所有像素位置的，构成矩阵N；
（3）对矩阵M进行归一化，所得矩阵作为边缘显著图A，对矩阵N进行归一化，所得矩阵作为角点显著图B。
上述技术方案中，所述步骤三中，生成的轮廓显著图C=K1*A+K2*B，其中K1，K2 , K1+K2=1，A为边缘显著图，B为角点显著图，优选的K1=K2=0.5。
上述技术方案中，所述步骤五中，对于彩色图像的各通道显著图进行线性组合，公式如下：
；
对于灰度图像，各通道显著图线性组合，公式如下：
其中，S表示最终显著图，分别表示颜色、亮度、轮廓规范化后的显著图。
由于上述技术方案运用，本发明与现有技术相比具有下列优点：
本发明采用了轮廓显著图的方法，使得所得到的视觉显著图更加清晰，在显著目标的定位方面更加精确，并且在计算效率方面也得到了提升。
附图说明
图1是实施例一中本发明方法的实施流程图。
图2是实施例一中本发明方法所得的显著图视觉效果图。
具体实施方式
下面结合附图及实施例对本发明作进一步描述：
实施例一：参见图1所示，一种视觉显著图的计算方法，具有如下步骤：
步骤一：对输入图像采用Itti模型中的颜色通道和亮度通道的计算方法，得到图像的颜色显著图与亮度显著图；
步骤二：对于给定的图像进行缩放，将其尺寸变换至期望显著图的尺寸，计算缩放后图像中每一位置的线性结构张量矩阵，其具体形式为：
其中，为标准差为的高斯核函数，为卷积运算，对于彩色图像，线性结构张量矩阵定义为：
其中，分别表示三个颜色通道的图像，将任一线性结构张量矩阵表示为的形式,求其特征值，
通过对特征值的线性组合、归一化得到边缘显著图A与角点显著图B；
步骤三：对边缘显著图与角点显著图进行线性组合，生成轮廓显著图C；
步骤四：对已有的颜色、亮度、轮廓显著图采用Itii模型的规范化方法进行规范化；
步骤五：将各通道的显著图线性组合得到最终显著图S。
本实施例中，所述步骤二中的边缘显著图与角点显著图的获取过程为：
（1）将任一线性结构张量矩阵表示为的形式,求其特征值；
（2）计算图像中所有像素位置的，构成矩阵M，计算图像中所有像素位置的，构成矩阵N；
（3）对矩阵M进行归一化，所得矩阵作为边缘显著图A，对矩阵N进行归一化，所得矩阵作为角点显著图B。
所述步骤三中，生成的轮廓显著图C=K1*A+K2*B，其中K1，K2 , K1+K2=1，A为边缘显著图，B为角点显著图，优选的K1=K2=0.5。
所述步骤五中，对于彩色图像的各通道显著图进行线性组合，公式如下：
；
对于灰度图像，各通道显著图线性组合，公式如下：
其中，S表示最终显著图，分别表示颜色、亮度、轮廓规范化后的显著图。
参见图2所示，图中的行a、c、e、g图像是Bruce建立的图像库中的图像，该数据库中包含了120幅图像，是国际公开的用于测试视觉显著性计算模型的数据库，行b、d、f、h图像是本发明方法所得的显著图视觉效果图。
Claims (6)
1.一种视觉显著图的计算方法，其特征在于，具有如下步骤：
步骤一：对输入图像 采用Itti模型中的颜色通道和亮度通道的计算方法，得到图像的颜色显著图与亮度显著图；
步骤二：对于给定的图像进行缩放，将其尺寸变换至期望显著图的尺寸，计算缩放后图像中每一位置的线性结构张量矩阵，其具体形式为：
其中，为标准差为的高斯核函数，为卷积运算，对于彩色图像，线性结构张量矩阵定义为：
其中，分别表示三个颜色通道的图像，将任一线性结构张量矩阵表示为的形式,求其特征值，
通过对特征值的线性组合、归一化得到边缘显著图A与角点显著图B；
步骤三：对边缘显著图与角点显著图进行线性组合，生成轮廓显著图C；
步骤四：对已有的颜色、亮度、轮廓显著图采用Itii模型的规范化方法进行规范化；
步骤五：将各通道的显著图线性组合得到最终显著图S。
2.根据权利要求1所述的一种视觉显著图的计算方法，其特征在于：所述步骤二中的边缘显著图与角点显著图的获取过程为：
（1）将任一线性结构张量矩阵表示为的形式,求其特征值；
（2）计算图像中所有像素位置的，构成矩阵M，计算图像中所有像素位置的，构成矩阵N；
（3）对矩阵M进行归一化，所得矩阵作为边缘显著图A，对矩阵N进行归一化，所得矩阵作为角点显著图B。
3.根据权利要求1所述的一种视觉显著图的计算方法，其特征在于：所述步骤三中，生成的轮廓显著图C=K1*A+K2*B，其中K1，K2 , K1+K2=1，A为边缘显著图，B为角点显著图。
4.根据权利要求3所述的一种视觉显著图的计算方法，其特征在于：所述K+K2=1，一般可取K1=K2=0.5。
5.根据权利要求1所述的一种视觉显著图的计算方法，其特征在于：所述步骤五中，对于彩色图像的各通道显著图进行线性组合，公式如下：，
其中，S表示最终显著图，分别表示颜色、亮度、轮廓规范化后的显著图。
6.根据权利要求1所述的一种视觉显著图的计算方法，其特征在于：所述步骤五中，对于灰度图像，各通道显著图线性组合，公式如下：。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510116370.6A CN104700412B (zh) | 2015-03-17 | 2015-03-17 | 一种视觉显著图的计算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510116370.6A CN104700412B (zh) | 2015-03-17 | 2015-03-17 | 一种视觉显著图的计算方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104700412A true CN104700412A (zh) | 2015-06-10 |
| CN104700412B CN104700412B (zh) | 2019-01-22 |
Family
ID=53347494
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510116370.6A Active CN104700412B (zh) | 2015-03-17 | 2015-03-17 | 一种视觉显著图的计算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104700412B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105118063A (zh) * | 2015-09-07 | 2015-12-02 | 同济大学 | 一种基于图像和微波遥感技术的显著物体检测方法 |
| CN106204615A (zh) * | 2016-07-20 | 2016-12-07 | 安徽大学 | 一种基于中心矩形构图先验的显著目标检测方法 |
| CN106952281A (zh) * | 2017-05-15 | 2017-07-14 | 上海交通大学 | 一种焊缝轮廓特征识别及其焊道实时规划的方法 |
| CN107230203A (zh) * | 2017-05-19 | 2017-10-03 | 重庆理工大学 | 基于人眼视觉注意机制的铸件缺陷识别方法 |
| CN107784662A (zh) * | 2017-11-14 | 2018-03-09 | 郑州布恩科技有限公司 | 一种图像目标显著性度量方法 |
| CN109165682A (zh) * | 2018-08-10 | 2019-01-08 | 中国地质大学（武汉） | 一种融合深度特征和显著性特征的遥感图像场景分类方法 |
| CN109858394A (zh) * | 2019-01-11 | 2019-06-07 | 西安电子科技大学 | 一种基于显著性检测的遥感图像水体区域提取方法 |
| CN111210419A (zh) * | 2020-01-09 | 2020-05-29 | 浙江理工大学 | 基于人类视觉特性的微型磁瓦表面缺陷检测方法 |
| CN117197127A (zh) * | 2023-11-02 | 2023-12-08 | 广东乾威精密连接器有限公司 | 一种基于机器视觉的汽车端子检测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102214298A (zh) * | 2011-06-20 | 2011-10-12 | 复旦大学 | 基于选择性视觉注意机制的遥感图像机场目标检测与识别方法 |
| CN103871053A (zh) * | 2014-02-25 | 2014-06-18 | 苏州大学 | 一种基于视觉显著性的布匹瑕疵检测方法 |
-
2015
- 2015-03-17 CN CN201510116370.6A patent/CN104700412B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102214298A (zh) * | 2011-06-20 | 2011-10-12 | 复旦大学 | 基于选择性视觉注意机制的遥感图像机场目标检测与识别方法 |
| CN103871053A (zh) * | 2014-02-25 | 2014-06-18 | 苏州大学 | 一种基于视觉显著性的布匹瑕疵检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 曾孝平等: "基于视觉注意的目标预检测模型", 《数据采集与处理》 * |
| 谢春兰: "视觉注意模型及其在目标检测中的应用研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
| 魏龙生: "基于视觉注意机制的遥感图像显著性目标检测", 《计算机工程与应用》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105118063A (zh) * | 2015-09-07 | 2015-12-02 | 同济大学 | 一种基于图像和微波遥感技术的显著物体检测方法 |
| CN105118063B (zh) * | 2015-09-07 | 2018-01-05 | 同济大学 | 一种基于图像和微波遥感技术的显著物体检测方法 |
| CN106204615B (zh) * | 2016-07-20 | 2019-02-22 | 安徽大学 | 一种基于中心矩形构图先验的显著目标检测方法 |
| CN106204615A (zh) * | 2016-07-20 | 2016-12-07 | 安徽大学 | 一种基于中心矩形构图先验的显著目标检测方法 |
| CN106952281A (zh) * | 2017-05-15 | 2017-07-14 | 上海交通大学 | 一种焊缝轮廓特征识别及其焊道实时规划的方法 |
| CN106952281B (zh) * | 2017-05-15 | 2019-09-27 | 上海交通大学 | 一种焊缝轮廓特征识别及其焊道实时规划的方法 |
| CN107230203B (zh) * | 2017-05-19 | 2021-06-08 | 重庆立洋机电设备制造有限公司 | 基于人眼视觉注意机制的铸件缺陷识别方法 |
| CN107230203A (zh) * | 2017-05-19 | 2017-10-03 | 重庆理工大学 | 基于人眼视觉注意机制的铸件缺陷识别方法 |
| CN107784662A (zh) * | 2017-11-14 | 2018-03-09 | 郑州布恩科技有限公司 | 一种图像目标显著性度量方法 |
| CN107784662B (zh) * | 2017-11-14 | 2021-06-11 | 郑州布恩科技有限公司 | 一种图像目标显著性度量方法 |
| CN109165682A (zh) * | 2018-08-10 | 2019-01-08 | 中国地质大学（武汉） | 一种融合深度特征和显著性特征的遥感图像场景分类方法 |
| CN109165682B (zh) * | 2018-08-10 | 2020-06-16 | 中国地质大学（武汉） | 一种融合深度特征和显著性特征的遥感图像场景分类方法 |
| CN109858394A (zh) * | 2019-01-11 | 2019-06-07 | 西安电子科技大学 | 一种基于显著性检测的遥感图像水体区域提取方法 |
| CN111210419A (zh) * | 2020-01-09 | 2020-05-29 | 浙江理工大学 | 基于人类视觉特性的微型磁瓦表面缺陷检测方法 |
| CN111210419B (zh) * | 2020-01-09 | 2023-10-20 | 浙江理工大学 | 基于人类视觉特性的微型磁瓦表面缺陷检测方法 |
| CN117197127A (zh) * | 2023-11-02 | 2023-12-08 | 广东乾威精密连接器有限公司 | 一种基于机器视觉的汽车端子检测方法 |
| CN117197127B (zh) * | 2023-11-02 | 2024-02-20 | 广东乾威精密连接器有限公司 | 一种基于机器视觉的汽车端子检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104700412B (zh) | 2019-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104700412B (zh) | 一种视觉显著图的计算方法 | |
| CN108549873B (zh) | 三维人脸识别方法和三维人脸识别系统 | |
| US9262671B2 (en) | Systems, methods, and software for detecting an object in an image | |
| US9305240B2 (en) | Motion aligned distance calculations for image comparisons | |
| WO2017219391A1 (zh) | 一种基于三维数据的人脸识别系统 | |
| Li et al. | Expression-robust 3D face recognition via weighted sparse representation of multi-scale and multi-component local normal patterns | |
| US20130315470A1 (en) | Body measurement | |
| JP2018195309A (ja) | 顔認識のための画像処理装置の訓練方法及び訓練装置 | |
| CN106778453B (zh) | 人脸图像中检测眼镜佩戴的方法及装置 | |
| US20130195351A1 (en) | Image processor, image processing method, learning device, learning method and program | |
| CN106570460B (zh) | 一种基于深度值的单幅图像人脸姿态估计方法 | |
| US9129152B2 (en) | Exemplar-based feature weighting | |
| US20150186753A1 (en) | Image Processing Apparatus, Image Processing Method, and Image Processing Program | |
| CN108229494B (zh) | 网络训练方法、处理方法、装置、存储介质和电子设备 | |
| CN102663351A (zh) | 基于条件外观模型的人脸特征点自动标定方法 | |
| KR20170024303A (ko) | 얼굴의 특징점 검출 시스템 및 방법 | |
| KR101326691B1 (ko) | 지역적 특징의 통계적 학습을 통한 강건한 얼굴인식방법 | |
| Lou et al. | Automatic fetal brain extraction using multi-stage U-Net with deep supervision | |
| JP2013206458A (ja) | 画像における外観及びコンテキストに基づく物体分類 | |
| Wang et al. | Improving RGB-D SLAM accuracy in dynamic environments based on semantic and geometric constraints | |
| Porto et al. | Automatic cephalometric landmarks detection on frontal faces: An approach based on supervised learning techniques | |
| WO2015176502A1 (zh) | 一种图像特征的估计方法和设备 | |
| CN109241932B (zh) | 一种基于运动方差图相位特征的热红外人体动作识别方法 | |
| EP2672425A1 (en) | Method and apparatus with deformable model fitting using high-precision approximation | |
| CN108694348B (zh) | 一种基于自然特征的跟踪注册方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |