CN108805139B - 一种基于频域视觉显著性分析的图像相似性计算方法 - Google Patents
一种基于频域视觉显著性分析的图像相似性计算方法 Download PDFInfo
- Publication number
- CN108805139B CN108805139B CN201810424185.7A CN201810424185A CN108805139B CN 108805139 B CN108805139 B CN 108805139B CN 201810424185 A CN201810424185 A CN 201810424185A CN 108805139 B CN108805139 B CN 108805139B
- Authority
- CN
- China
- Prior art keywords
- significant
- image
- formula
- images
- foreground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Mathematical Analysis (AREA)
- Multimedia (AREA)
- Pure & Applied Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于频域视觉显著性分析的图像相似性计算方法。该方法为:首先、将两张待比较的彩色数字图像转换为灰度图像,转换后分别进行二维离散傅里叶变换,对变换得到的幅度谱进行滤波,然后再分别进行傅里叶反变换,得到两张待比较图像的显著性图;其次、根据显著性图检测显著性前景区域和非显著性背景区域,分别计算显著性前景权重比率和非显著性背景权重比率;最后、按照定义的距离计算公式,计算待比较图像之间的距离,距离越小则图像相似度越高。本发明方法具有抗背景颜色一致能力强、计算效率高的优点。
Description
技术领域
本发明属于图像相似性计算技术领域,特别是一种基于频域视觉显著性分析的图像相似性计算方法。
背景技术
图像相似性计算的目的是衡量两幅图像内容的相似性程度,该技术广泛应用于基于内容的图像检索和图像分类中。相比于传统的基于标签的图像检索和分类,基于内容的方法直接考察图像包含的具体内容,更符合人们进行图像检索和分类的习惯,同时避免了繁琐的人工标注图像标签的过程。基于内容的图像检索或图像分类不需要对相关图像进行精确匹配,而是通过计算查询图像和候选图像之间视觉特征的相似度来完成,通过提取图像的纹理、颜色或者形状等特征形成特征向量,来代表对应的图像。在图像检索中,判断图像之间是否相似主要通过比较不同图像特征向量之间的距离。距离越大说明图像的相似度越小,距离越小说明图像相似度越大,即内容相似的图像间应该具有较小的距离,而内容不相似的图像间应具有较大的距离。按照人们的视觉习惯,图像内容主要指图像中的显著性前景部分,而图像中的背景信息在比较图像相似性时起到的作用比较小。
目前大部分图像相似性计算方法,都是通过计算图像之间的距离,从而对整幅图像的相似性进行计算,如果两幅图像背景颜色很相似,那么即使各自包含的前景对象完全不一样,也会得到较高的相似性,因此对整幅图像的相似性进行计算的方法难以满足基于内容的图像检索和图像分类的需求。如果先对图像进行精细的前景和背景分割,那么由于现有的前景分割算法计算量大,效率低,难以满足海量图像在线检索和分类的应用需求。
发明内容
本发明的目的在于提供一种计算效率高、抗背景颜色一致能力强的基于频域视觉显著性分析的图像相似性计算方法。
实现本发明目的的技术解决方案为:一种基于频域视觉显著性分析的图像相似性计算方法,包括以下步骤:
步骤1、频域视觉显著性检测:将两张待比较的彩色数字图像转换为灰度图像,转换后分别进行二维离散傅里叶变换,对变换得到的幅度谱进行滤波,然后再分别进行傅里叶反变换,得到两张待比较图像的显著性图;
步骤2、显著性前景和非显著性背景权值比率计算:根据显著性图检测显著性前景区域和非显著性背景区域,分别计算显著性前景权重比率和非显著性背景权重比率;
步骤3、图像相似性计算:按照距离计算公式,计算待比较图像之间的距离,距离越小则图像相似度越高。
进一步地,步骤1所述的频域视觉显著性检测,具体如下:
步骤1.1、图像灰度变换:两张待比较的彩色数字图像I1和I2均为RGB彩色图像,根据式(1)将I1和I2分别转换为灰度图像,得到I1g和I2g:
I1g=I1-R×0.299+I1-G×0.587+I1-B×0.114 (1)
式(1)中I1-R、I1-G和I1-B分别表示I1的R、G、B三个颜色分量;同样得到I2g;
步骤1.2、二维离散傅里叶变换:将I1g和I2g分别进行二维离散傅里叶变换得到I1g-F和I2g-F,如式(2)
式(2)中H、W分别为图像I1g的高和宽,(x1g,y1g)、(u1g-F,v1g-F)分别为二维离散傅里叶变换前、后的像素坐标,j为虚数单位,R(u1g-F,v1g-F)为傅里叶变换后的实数部分,I(u1g-F,v1g-F)为傅里叶变换后的虚数部分;
式(2)中:
步骤1.3、幅度谱滤波:将式(2)中的幅度谱置为1,即|F(u1g-F,v1g-F)|=1,则I1g-F成为式(5)所示I'1g-F的形式:
同样得I'2g-F;
步骤1.4、傅里叶逆变换:使用式(6)对I'1g-F和I'2g-F分别进行二维离散傅里叶逆变换得到I'1g和I'2g,即
I'1g和I'2g即根据频域计算得到的I1和I2的显著性图像,I'1g和I'2g的尺寸与各自原图像一致,均为灰度图像,灰度值越高的像素点代表原图像I1和I2中该位置对应的视觉显著性值高。
进一步地,步骤2所述的显著性前景和非显著性背景权值比率计算,具体如下:
步骤2.2、权值计算:使用式(7)分别计算I1和I2的显著性前景权值比率rf
使用式(8)分别计算I1和I2的非显著性背景权值比率:
进一步地,步骤3所述的图像相似性计算,具体如下:
步骤3.2、图像距离计算:根据式(11)计算I1和I2之间的距离D(I1,I2):
计算得到的D(I1,I2)值越大,则I1和I2的相似度越低;D(I1,I2)值越小,则I1和I2的相似度越高。
本发明与现有技术相比,其显著优点为:(1)抗背景颜色一致能力强:首先通过频域分析得到原图像的显著性前景,然后计算前景和背景的权重比率,计算图像间距离时前景被赋予较大权重,而背景被赋予较小权重,减小背景对图像相似性计算的影响,即使两幅图像背景颜色一致,只要显著性前景差异较大,依然能计算得到较大的图像距离值;(2)计算效率高:计算图像显著性时,使用的图像快速傅里叶变换和反变换,避免了在空间域进行大量的图像特征提取计算,具有很高的计算效率。
下面结合附图和具体实施方式对本发明作进一步的详细描述。
附图说明
图1为本发明基于频域视觉显著性分析的图像相似性计算方法的主流程图。
图2为本发明中频域视觉显著性检测步骤的流程图。
图3为本发明中显著性前景和非显著性背景权值比率计算步骤的流程图
图4为本发明中图像相似性计算步骤的流程图。
图5为本发明实施例中图像相似性计算示例图,其中(a)、(b)、(c)为3张待比较图像转换得到的灰度图,(d)、(e)、(f)为分别对(a)、(b)、(c)进行显著性检测得到的显著性图。
具体实施方式
如图1所示,本发明基于频域视觉显著性分析的图像相似性计算方法,包括以下步骤:
步骤1、频域视觉显著性检测:将两张待比较的彩色数字图像转换为灰度图像,转换后分别进行二维离散傅里叶变换,对变换得到的幅度谱滤波,然后再分别进行傅里叶反变换,得到两张待比较图像的显著性图;
如图2所示,所述的频域视觉显著性检测,具体如下:
步骤1.1、图像灰度变换:两张待比较的彩色数字图像I1和I2均为RGB彩色图像,根据式(1)将其分别转换为灰度图像,得到I1g和I2g:
I1g=I1-R×0.299+I1-G×0.587+I1-B×0.114 (1)
式(1)中I1-R、I1-G和I1-B分别表示I1的R、G、B三个颜色分量;
同样可得I2g;下面涉及到对I1和I2分别做同样的运算时均以I1为例说明,I2用同样方法计算即可。
步骤1.2、二维离散傅里叶变换:将I1g和I2g分别进行二维离散傅里叶变换得到I1g-F和I2g-F,如式(2)
式(2)中H,W为图像I1g的高和宽,u1g-F、v1g-F、x1g、y1g为像素坐标,j为虚数单位,R(u1g-F,v1g-F)为傅里叶变换后的实数部分,I(u1g-F,v1g-F)为傅里叶变换后的虚数部分;
式(2)中:
步骤1.3、幅度谱滤波:将式(2)中的幅度谱置为1,即|F(u1g-F,v1g-F)|=1,则I1g-F成为式(5)所示I'1g-F的形式,即
同样可得I'2g-F
步骤1.4、傅里叶逆变换:使用式(6)对I'1g-F和I'2g-F分别进行二维离散傅里叶逆变换得到I'1g和I'2g,即
I'1g和I'2g即根据频域计算得到的I1和I2的显著性图像,I'1g和I'2g与各自原图像的分辨率一致,形式均为灰度图像,灰度值越高的像素点代表原图像I1和I2中该位置对应的显著性值高。
步骤2、显著性前景和非显著性背景权值比率计算:根据显著性图检测显著性前景区域和非显著性背景区域,分别计算显著性前景权重比率非显著性和背景权重比率;
如图3所示,所述的显著性前景和非显著性背景权值比率计算,具体如下:
步骤2.2、权值计算:使用式(7)分别计算I1和I2的显著性前景权值比率rf
使用式(8)分别计算I1和I2的非显著性背景权值比率:
步骤3、图像相似性计算:按照定义的距离计算公式,计算待比较图像之间的距离,距离越小则图像相似度越高。
如图5所示,所述的图像相似性计算,具体如下:
步骤3.2、图像距离计算:根据式(11)计算I1和I2之间的距离D(I1,I2):
计算得到的D(I1,I2)值越大,则I1和I2的相似度越低;D(I1,I2)值越小,则I1和I2的相似度越高。
实施例1
图5为图像相似性计算示例。其中,图5(a),图5(b)和图5(c)为3张待比较RGB彩色图像转换的灰度图像,其中图5(a)和图5(b)前景相似,原图背景颜色差异较大,图5(b)和图5(c)背景颜色相似,前景差异较大。图5(d),图5(e)和图5(f)为分别对图5(a),图5(b)和图5(c)进行显著性检测得到的显著图。用本方法计算得到的图5(a)和图5(b)的相似性为0.1645,图5(c)和图5(b)的相似性为0.1925,表明图5(a)和图5(b)更加相似。直接统计整张图像的直方图,使用常见的全图比较的方法,依然使式(9)计算图像间的距离,计算得到图5(a)和图5(b)的相似性为0.2081,图5(c)和图5(b)的相似性为0.1856,表明图5(c)和图5(b)更加相似。该例说明本发明抗背景颜色一致能力较强,而全图比较的方法易受背景颜色一致影响。
Claims (1)
1.一种基于频域视觉显著性分析的图像相似性计算方法,其特征在于,包括以下步骤:
步骤1、频域视觉显著性检测:将两张待比较的彩色数字图像转换为灰度图像,转换后分别进行二维离散傅里叶变换,对变换得到的幅度谱进行滤波,然后再分别进行傅里叶反变换,得到两张待比较图像的显著性图;
步骤2、显著性前景和非显著性背景权值比率计算:根据显著性图检测显著性前景区域和非显著性背景区域,分别计算显著性前景权重比率和非显著性背景权重比率;
步骤3、图像相似性计算:按照距离计算公式,计算待比较图像之间的距离,距离越小则图像相似度越高;
步骤1所述的频域视觉显著性检测,具体如下:
步骤1.1、图像灰度变换:两张待比较的彩色数字图像I1和I2均为RGB彩色图像,根据式(1)将I1和I2分别转换为灰度图像,得到I1g和I2g:
I1g=I1-R×0.299+I1-G×0.587+I1-B×0.114 (1)
式(1)中I1-R、I1-G和I1-B分别表示I1的R、G、B三个颜色分量;同样得到I2g;
步骤1.2、二维离散傅里叶变换:将I1g和I2g分别进行二维离散傅里叶变换得到I1g-F和I2g-F,如式(2)
式(2)中H、W分别为图像I1g的高和宽,(x1g,y1g)、(u1g-F,v1g-F)分别为二维离散傅里叶变换前、后的像素坐标,j为虚数单位,R(u1g-F,v1g-F)为傅里叶变换后的实数部分,I(u1g-F,v1g-F)为傅里叶变换后的虚数部分;
式(2)中:
步骤1.3、幅度谱滤波:将式(2)中的幅度谱置为1,即|F(u1g-F,v1g-F)|=1,则I1g-F成为式(5)所示I′1g-F的形式:
同样得I′2g-F;
步骤1.4、傅里叶逆变换:使用式(6)对I′1g-F和I′2g-F分别进行二维离散傅里叶逆变换得到I′1g和I′2g,即
I′1g和I′2g即根据频域计算得到的I1和I2的显著性图像,I′1g和I′2g的尺寸与各自原图像一致,均为灰度图像,灰度值越高的像素点代表原图像I1和I2中该像素点的位置对应的视觉显著性值高;
步骤2所述的显著性前景和非显著性背景权值比率计算,具体如下:
步骤2.2、权值计算:使用式(7)分别计算I1和I2的显著性前景权值比率rf
使用式(8)分别计算I1和I2的非显著性背景权值比率:
步骤3所述的图像相似性计算,具体如下:
步骤3.2、图像距离计算:根据式(11)计算I1和I2之间的距离D(I1,I2):
计算得到的D(I1,I2)值越大,则I1和I2的相似度越低;D(I1,I2)值越小,则I1和I2的相似度越高。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810424185.7A CN108805139B (zh) | 2018-05-07 | 2018-05-07 | 一种基于频域视觉显著性分析的图像相似性计算方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810424185.7A CN108805139B (zh) | 2018-05-07 | 2018-05-07 | 一种基于频域视觉显著性分析的图像相似性计算方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108805139A CN108805139A (zh) | 2018-11-13 |
CN108805139B true CN108805139B (zh) | 2022-02-18 |
Family
ID=64091005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810424185.7A Active CN108805139B (zh) | 2018-05-07 | 2018-05-07 | 一种基于频域视觉显著性分析的图像相似性计算方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108805139B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108596864A (zh) * | 2018-04-16 | 2018-09-28 | 南京理工大学 | 一种新的声学图像组合增强方法 |
CN109949383B (zh) * | 2019-02-01 | 2023-07-11 | 佛山科学技术学院 | 一种高动态光学投影层析成像方法及装置 |
CN112446440B (zh) * | 2021-01-29 | 2021-04-16 | 江苏德劭信息科技有限公司 | 基于msr-cnn的机器人多传感器目标跟踪方法 |
CN113592741A (zh) * | 2021-08-04 | 2021-11-02 | 西北工业大学 | 一种数字图像处理方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104574399A (zh) * | 2015-01-06 | 2015-04-29 | 天津大学 | 基于多尺度视觉显著性与梯度幅值的图像质量评价方法 |
CN104680523B (zh) * | 2015-02-11 | 2017-12-19 | 浙江工业大学 | 基于前景和背景先验的多模态区域一致性的显著性对象检测方法 |
CN106203430B (zh) * | 2016-07-07 | 2017-11-03 | 北京航空航天大学 | 一种基于前景聚集度和背景先验的显著性物体检测方法 |
CN106530271B (zh) * | 2016-09-30 | 2019-03-12 | 河海大学 | 一种红外图像显著性检测方法 |
-
2018
- 2018-05-07 CN CN201810424185.7A patent/CN108805139B/zh active Active
Non-Patent Citations (2)
Title |
---|
Scale adaptive supervoxel segmentation of RGB-D image;Peng Xu等;《 2016 IEEE International Conference on Robotics and Biomimetics (ROBIO)》;20170302;第1033-1038页 * |
Spatiotemporal Saliency Estimation;C¸ a˘glar Aytekin等;《 IEEE Transactions on Multimedia》;20170608;第20卷(第1期);第82-95页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108805139A (zh) | 2018-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108805139B (zh) | 一种基于频域视觉显著性分析的图像相似性计算方法 | |
CN105354865B (zh) | 多光谱遥感卫星影像自动云检测方法及系统 | |
CN106683119B (zh) | 基于航拍视频图像的运动车辆检测方法 | |
CN106023257B (zh) | 一种基于旋翼无人机平台的目标跟踪方法 | |
CN107038416B (zh) | 一种基于二值图像改进型hog特征的行人检测方法 | |
CN107563377A (zh) | 一种利用边缘和文字区域的证件关键区域检测定位方法 | |
CN107967482A (zh) | 图标识别方法及装置 | |
CN108830823B (zh) | 基于空域结合频域分析的全参考型图像质量评价方法 | |
CN109255358B (zh) | 一种基于视觉显著性和深度图的3d图像质量评价方法 | |
CN113076802B (zh) | 基于缺少断开图像样本的变电站开关分合状态图像识别方法 | |
CN105590319A (zh) | 一种深度学习的图像显著性区域检测方法 | |
CN107256547A (zh) | 一种基于显著性检测的表面裂纹识别方法 | |
CN109961416B (zh) | 一种基于形态学梯度多尺度融合的营业执照信息提取方法 | |
CN105405138B (zh) | 基于显著性检测的水面目标跟踪方法 | |
CN107610093B (zh) | 基于相似性特征融合的全参考型图像质量评价方法 | |
CN108829711B (zh) | 一种基于多特征融合的图像检索方法 | |
CN115331119B (zh) | 一种固体废弃物识别方法 | |
CN106447654B (zh) | 基于统计相似性和双向显著性保真度的图像重定向质量评价方法 | |
CN109829924A (zh) | 一种基于主体特征分析的图像质量评价方法 | |
CN111950563A (zh) | 一种图像匹配方法、装置以及计算机可读存储介质 | |
CN109767442B (zh) | 一种基于旋转不变特征的遥感图像飞机目标检测方法 | |
CN110569716A (zh) | 一种货架图像翻拍检测方法 | |
CN112801141B (zh) | 基于模板匹配和孪生神经网络优化的异源图像匹配方法 | |
CN107358635B (zh) | 一种基于模糊相似性的彩色形态学图像处理方法 | |
CN116703895B (zh) | 基于生成对抗网络的小样本3d视觉检测方法及其系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |