CN106447654B - 基于统计相似性和双向显著性保真度的图像重定向质量评价方法 - Google Patents

基于统计相似性和双向显著性保真度的图像重定向质量评价方法 Download PDF

Info

Publication number
CN106447654B
CN106447654B CN201610817624.1A CN201610817624A CN106447654B CN 106447654 B CN106447654 B CN 106447654B CN 201610817624 A CN201610817624 A CN 201610817624A CN 106447654 B CN106447654 B CN 106447654B
Authority
CN
China
Prior art keywords
formula
value
conspicuousness
scale
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610817624.1A
Other languages
English (en)
Other versions
CN106447654A (zh
Inventor
陈志波
林剑新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN201610817624.1A priority Critical patent/CN106447654B/zh
Publication of CN106447654A publication Critical patent/CN106447654A/zh
Application granted granted Critical
Publication of CN106447654B publication Critical patent/CN106447654B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于统计相似性和双向显著性保真度的图像重定向质量评价方法,其特征包括:1、获取原始图像和重定向图像的log‑Gabor域的自然场景统计特征,并得到两者自然场景统计特征之间的差值,作为自然场景差值统计特征;2、获取前向显著性信息丢失值和后向显著性信息丢失值;3、获取图像的显著性结构失真值;4、由自然场景差值统计特征、前向显著性信息丢失值、后向显著性信息丢失值、显著性结构失真值构成重定向质量评价特征;5、利用支持向量回归模型对重定向质量评价特征进行训练和预测,从而得到质量评价模型。本发明考虑了自然场景统计特征变化,并且从两个方向对图像显著性保真度进行衡量,能够更加准确地预测重定向图像主观视觉质量。

Description

基于统计相似性和双向显著性保真度的图像重定向质量评价 方法
技术领域
本发明涉及视频信号处理、图像视频质量评价领域,具体的说是一种基于统计相似性和双向显著性保真度的图像重定向质量评价方法。
背景技术
随着移动终端的流行,日常生活中产生了越来越多不同分辨率的设备屏幕,比如手机、平板和电脑都具有不同的分辨率。移动终端的流行也带了一个问题:同一张图像如何在不同分辨率屏幕上呈现最佳显示效果。这就需要根据屏幕分辨率的不同对图像视频内容进行自适应的处理。为了解决同一张图像在不同分辨率屏幕上显示不匹配的问题,很多研究人员提出了各种各样的图像重定向算法,比如裁剪(cropping)、缩放(scaling)、变形(warping)和基于内容感知(content-aware)的雕缝算法(seam-carving)等等,得到的图像质量好坏可能有较大差异。
重定向后的图像质量的客观评价准则,对于选择最佳重定向算法和优化重定向算法具有不可或缺的重要意义,保证良好的用户体验质量能有效促进移动多媒体应用的更好普及。目前关于图像重定向后的质量评价算法的研究还处于起步阶段很多图像重定向质量评价算法的预测准确度并不如人意,性能常常受到不同图像失真的影响。在2011年国际顶级期刊IEEE Transactions on Pattern Analysis and Machine Intelligence上发表文章《Sift flow:Dense correspondence across scenes and its applications》该文章提出一种SIFT-flow算法进行衡量两幅图像之间的结构相似性,但是算法忽略了重定向图像中的信息丢失失真。在2000年国际顶级期刊International Journal ofComputer Vision上发表文章《The earth mover's distance as a metric for image retrieval》该文章提出一种衡量两个分布相互变换之间的最小损失度量算法EMD,该算法衡量了两个图像之间特征分布的距离,但是也忽略了重定向图像中的信息丢失失真。
发明内容
本发明为了克服现有技术中的不足之处,提出了一种基于统计相似性和双向显著性保真度的图像重定向质量评价模型,以期能够更准确地预测重定向图像的质量,从而帮助重定向算法获得更符合人眼视觉质量的重定向图像。
本发明为达到上述发明目的,采用如下技术方案:
本发明一种基于统计相似性和双向显著性保真度的图像重定向质量评价方法的特点是按如下步骤进行:
步骤1:获取log-Gabor域的自然场景统计特征;
步骤1.1:获得去相关性后的梯度图
步骤1.1.1:对输入图像进行Ω个方向和S个尺度的log-Gabor滤波,得到幅度响应集合As,o表示第o个方向和第s个尺度上的幅度响应;1≤o≤Ω;1≤s≤S;
步骤1.1.2:利用式(1)建立所述第o个方向和第s个尺度上的幅度响应As,o上任一像素点(x,y)的四个方向的梯度值,包括:水平梯度值Hs,o(x,y)、垂直梯度值Vs,o(x,y)、主对角梯度值D1s,o(x,y)、副对角梯度值D2s,o(x,y);从而得到幅度响应As,o的四个方向的梯度图{Hs,o,Vs,o,D1s,o,D2s,o};
式(1)中,As,o(x,y)表示第o个方向和第s个尺度上的幅度响应As,o在点(x,y)上的像素值;
步骤1.1.3:以Ms,o表示所述四个方向的梯度图{Hs,o,Vs,o,D1s,o,D2s,o}中的任一方向的梯度图,则利用式(2)所示的除法标准化变换方法去除所述梯度图Ms,o中像素点(x,y)的相关性,得到去相关性后的像素点从而得到去相关性后的梯度图
式(2)中,Gi,j(x,y)表示在(x+i,y+j)位置上像素点的高斯加权系数,Ms,o(x+i,y+j)表示梯度图Ms,o中在(x+i,y+j)位置上的像素点;[-I,I]和[-J,J]分别表示在(x,y)位置周围的所有高斯加权区域的长度和高度;β表示防止分母为0的常数;
步骤1.2:获取滤波器方向内统计特征;
步骤1.2.1:从所述四个方向的梯度图{Hs,o,Vs,o,D1s,o,D2s,o}中选择与所述第o个方向和第s个尺度上的幅度响应As,o具有相同方向的梯度图,记为Ms,o;利用广义高斯分布模型对所述具有相同方向的梯度图Ms,o的统计直方图进行拟合,得到第o个方向和第s个尺度上的形状参数ρs,o和方差σ2 s,o
步骤1.2.2:利用式(3)获得滤波器方向内统计特征F1
步骤1.3:获取梯度方向间统计特征;
步骤1.3.1:利用式(4)获得所述第o个方向和第s个尺度上的在(x,y)位置上的最大边缘响应值Maxs,o(x,y)和最小边缘响应值Mins,o(x,y),从而得到第o个方向和第s个尺度上的最大边缘响应图Maxs,o和最小边缘响应图Mins,o
步骤1.3.2:利用除法标准化变换方法去除所述最大边缘响应图Maxs,o和最小边缘响应图Mins,o的图内相关性;得到去相关性后的最大边缘响应图和最小边缘响应图
步骤1.3.3:利用非对称广义高斯分布模型对所述去相关性后的最大边缘响应图和最小边缘响应图的统计直方图进行拟合,得到第o个方向和第s个尺度上的形状参数ρ′s,o、左方差和右方差
步骤1.3.4:利用式(5)获得梯度方向间统计特征F2
式(5)中,(ρ′max)s,o表示第o个方向和第s个尺度上的最大边缘响应图的形状参数;(σ2 max,l)s,o表示第o个方向和第s个尺度上的最大边缘响应图的左方差;(σ2 max,r)s,o表示第o个方向和第s个尺度上的最大边缘响应图的右方差;(ρ′min)s,o表示第o个方向和第s个尺度上的最小边缘响应图的形状参数;(σ2 min,l)s,o表示第o个方向和第s个尺度上的最小边缘响应图的左方差;(σ2 min,r)s,o表示第o个方向和第s个尺度上的最小边缘响应图的右方差;
步骤1.4:由所述滤波器方向内统计特征F1和梯度方向间统计特征F2构成所述输入图像的自然场景统计特征;
步骤2:将原始图像IO和重定向图像IR分别作为输入图像并按照步骤1进行处理,从而得到所述原始图像IO的自然场景统计特征和重定向图像IR的自然场景统计特征,并获得两者之间的差值,作为输入支持向量回归模型的自然场景差值统计特征;
步骤3:获得所述原始图像IO的显著性图SO
步骤4:衡量双向显著性信息丢失;
步骤4.1.1:利用式(6)得到所述重定向图像IR在位置p上的显著性值SR(p),从而得到所述重定向图像IR的显著性图SR
SR(p)=SO(p+w(p)) (6)
式(6)中,w(p)表示原始图像IO在位置p上的位移矢量,并由前向点对点匹配算法得到;SO(p+w(p))表示原始图像IO在位置(p+w(p))上的显著性值;
步骤4.1.2:利用式(7)获得前向显著性信息丢失值fFSIL
步骤4.2.1:利用式(8)得到位置p上的重建像素值Iwarp(p),从而得到由重定向图像重建的原始图像Iwarp
Iwarp(p)=IR(p+v(p)) (8)
式(8)中,v(p)表示重定向图像在位置p上的位移矢量,并由后向点对点匹配算法得到;IR(p+v(p))表示重定向图像在位置(p+v(p))上的像素值;
步骤4.2.2:采用显著性阈值分割法对所述原始图像IO的显著性图SO中显著性大于阈值δ的区域进行提取,得到显著性区域
步骤4.2.3:利用式(9)获得后向显著性信息丢失值fBSIL
式(9)中,wp表示显著性区域中位置p上的像素相似性,并由式(10)得到:
式(10)中,C表示防止分母为0的常数;IO(p)表示原始图像IO在位置p上的像素值;
步骤5:衡量图像显著性结构失真;
步骤5.1:对所述原始图像IO和重定向图像IR进行后向点对点匹配,得到重定向图像IR在像素点p处的位移矢量(vx(p),vy(p)),从而得到重定向图像IR的全部位移矢量(vx,vy);
步骤5.2:采用中值方法对所述重定向图像IR的全部位移矢量(vx,vy)进行取中值处理,得到重定向图像IR的全部位移的主方向(vmedx,vmedy);
步骤5.3:利用式(11)得到显著性结构失真值fSSD
式(11)中,N表示显著性区域中的像素点个数;
步骤6:由所述自然场景差值统计特征、前向显著性信息丢失值fFSIL、后向显著性信息丢失值fBSIL、显著性结构失真值fSSD构成重定向质量评价特征;
步骤7:利用支持向量回归模型对所述重定向质量评价特征进行训练和预测,从而得到质量评价模型以实现图像重定向质量评价方法。
与已有技术相比,本发明的有益效果体现在:
1、本发明针对重定向过程产生的自然场景统计特征变化,采用了log-Gabor域的自然场景统计特征,其分为两个方面:滤波器方向内统计特征和梯度方向间统计特征,提出的log-Gabor域的自然场景统计特征能够准确描述自然图像中的统计特性,从而能够准确地衡量自然图像经过重定向之后的统计特征变化,弥补了以往重定向质量评价算法对自然场景统计变化衡量的空白,提高了重定向图像质量的预测准确度。
2、本发明采用了双向显著性信息丢失衡量算法,分别计算了前向显著性信息丢失值和后向显著性信息丢失值,能够同时对重定向图像的完整性和保真性进行衡量,克服了以往重定向质量评价算法对信息丢失考虑的不完整性,从而能够更准确地衡量重定向图像中的信息丢失,提高了重定向图像质量的预测准确度。
3、本发明采用了图像显著性结构失真衡量算法,首先得到原始图像和重定向图像之间的位移矢量,通过衡量在显著性区域的位移矢量的一致性得到图像显著性结构失真值,通过计算图像全局结构失真,得到克服了以往算法在局部计算的缺点,更符合人眼视觉感知的结构失真,提高了重定向图像质量的预测准确度。
附图说明
图1为本发明方法流程图。
具体实施方式
本实施例中,如图1所示,在图像重定向质量评价中,一种基于统计相似性和双向显著性保真度的图像重定向质量评价方法,是按如下步骤进行:
步骤1:获取log-Gabor域的自然场景统计特征;
步骤1.1:获得去相关性后的梯度图
步骤1.1.1:对输入图像进行Ω个方向和S个尺度的log-Gabor滤波,得到幅度响应集合As,o表示第o个方向和第s个尺度上的幅度响应;1≤o≤Ω;1≤s≤S;
步骤1.1.2:为了得到相邻四个像素之间的统计关系,利用式(1)建立第o个方向和第s个尺度上的幅度响应As,o上任一像素点(x,y)的四个方向的梯度值,包括:水平梯度值Hs,o(x,y)、垂直梯度值Vs,o(x,y)、主对角梯度值D1s,o(x,y)、副对角梯度值D2s,o(x,y);从而得到幅度响应As,o的四个方向的梯度图{Hs,o,Vs,o,D1s,o,D2s,o};
式(1)中,As,o(x,y)表示第o个方向和第s个尺度上的幅度响应As,o在点(x,y)上的像素值;
步骤1.1.3:以Ms,o表示四个方向的梯度图{Hs,o,Vs,o,D1s,o,D2s,o}中的任一方向的梯度图,则利用式(2)所示的除法标准化变换方法去除梯度图Ms,o中像素点(x,y)的相关性,得到去相关性后的像素点从而得到去相关性后的梯度图
式(2)中,Gi,j(x,y)表示在(x+i,y+j)位置上像素点的高斯加权系数,Ms,o(x+i,y+j)表示梯度图Ms,o中在(x+i,y+j)位置上的像素点;[-I,I]和[-J,J]分别表示在(x,y)位置周围的所有高斯加权区域的长度和高度;β表示防止分母为0的常数;
步骤1.2:获取滤波器方向内统计特征;
步骤1.2.1:从四个方向的梯度图{Hs,o,Vs,o,D1s,o,D2s,o}中选择与第o个方向和第s个尺度上的幅度响应As,o具有相同方向的梯度图,记为Ms,o;利用广义高斯分布模型对具有相同方向的梯度图Ms,o的统计直方图进行拟合,得到第o个方向和第s个尺度上的形状参数ρs,o和方差σ2 s,o
步骤1.2.2:利用式(3)获得滤波器方向内统计特征F1
步骤1.3:获取梯度方向间统计特征;
步骤1.3.1:为了提取在自然图像中的边缘响应特征,我们采用一种最显著方向选取的方法对边缘进行提取,在四个梯度图之间找到统计特征。利用式(4)获得第o个方向和第s个尺度上的在(x,y)位置上的最大边缘响应值Maxs,o(x,y)和最小边缘响应值Mins,o(x,y),从而得到第o个方向和第s个尺度上的最大边缘响应图Maxs,o和最小边缘响应图Mins,o
步骤1.3.2:利用除法标准化变换方法去除最大边缘响应图Maxs,o和最小边缘响应图Mins,o的图内相关性;得到去相关性后的最大边缘响应图和最小边缘响应图
步骤1.3.3:利用非对称广义高斯分布模型对去相关性后的最大边缘响应图和最小边缘响应图的统计直方图进行拟合,得到第o个方向和第s个尺度上的形状参数ρs,o、左方差和右方差
步骤1.3.4:利用式(5)获得梯度方向间统计特征F2
式(5)中,(ρ′max)s,o表示第o个方向和第s个尺度上的最大边缘响应图的形状参数;(σ2 max,l)s,o表示第o个方向和第s个尺度上的最大边缘响应图的左方差;(σ2 max,r)s,o表示第o个方向和第s个尺度上的最大边缘响应图的右方差;(ρ′min)s,o表示第o个方向和第s个尺度上的最小边缘响应图的形状参数;(σ2 min,l)s,o表示第o个方向和第s个尺度上的最小边缘响应图的左方差;(σ2 min,r)s,o表示第o个方向和第s个尺度上的最小边缘响应图的右方差;
步骤1.4:由滤波器方向内统计特征F1和梯度方向间统计特征F2构成输入图像的自然场景统计特征;
步骤2:将原始图像IO和重定向图像IR分别作为输入图像并按照步骤1进行处理,从而得到原始图像IO的自然场景统计特征和重定向图像IR的自然场景统计特征,并获得两者之间的差值,作为输入支持向量回归模型的自然场景差值统计特征;
步骤3:获得原始图像IO的显著性图SO
步骤4:在重定向过程中,重定向算法会导致一种常见的失真:图像内容信息丢失失真。本发明提出衡量双向显著性信息丢失的方法;
步骤4.1.1:利用式(6)得到重定向图像IR在位置p上的显著性值SR(p),从而得到重定向图像IR的显著性图SR
SR(p)=SO(p+w(p)) (6)
式(6)中,w(p)表示原始图像IO在位置p上的位移矢量,并由前向点对点匹配算法得到;SO(p+w(p))表示原始图像IO在位置(p+w(p))上的显著性值;
步骤4.1.2:利用式(7)获得前向显著性信息丢失值fFSIL,表示原始图像IO中的显著性信息在重定向后被保留的多少:
步骤4.2.1:利用式(8)得到位置p上的重建像素值Iwarp(p),从而得到由重定向图像重建的原始图像Iwarp
Iwarp(p)=IR(p+v(p)) (8)
式(8)中,v(p)表示重定向图像在位置p上的位移矢量,并由后向点对点匹配算法得到;IR(p+v(p))表示重定向图像在位置(p+v(p))上的像素值;
步骤4.2.2:为了消除点和点的误匹配以及非显著区域对最终后向显著性信息丢失失真算子的影响,采用显著性阈值分割法对原始图像IO的显著性图SO中显著性大于阈值δ的区域进行提取,得到显著性区域
步骤4.2.3:利用式(9)获得后向显著性信息丢失值fBSIL,表示原始图像IO中多少显著性信息可以从重定向图像IR中恢复出来:
式(9)中,wp表示显著性区域中位置p上的像素相似性,并由式(10)得到:
式(10)中,C表示防止分母为0的常数;IO(p)表示原始图像IO在位置p上的像素值;
步骤5:衡量图像显著性结构失真;
步骤5.1:对原始图像IO和重定向图像IR进行后向点对点匹配,得到重定向图像IR在像素点p处的位移矢量(vx(p),vy(p)),从而得到重定向图像IR的全部位移矢量(vx,vy);
步骤5.2:采用中值方法对重定向图像IR的全部位移矢量(vx,vy)进行取中值处理,得到重定向图像IR的全部位移的主方向(vmedx,vmedy);
步骤5.3:利用式(11)得到显著性结构失真值fSSD
式(11)中,N表示显著性区域中的像素点个数;
步骤6:由自然场景差值统计特征、前向显著性信息丢失值fFSIL、后向显著性信息丢失值fBSIL、显著性结构失真值fSSD构成重定向质量评价特征;
步骤7:利用支持向量回归模型对重定向质量评价特征进行训练和预测,从而得到质量评价模型以实现图像重定向质量评价方法。
表1是本发明在公开数据库上与其他算法的比较结果,可以看出本发明在两个公开数据库上的性能都明显超过了其他两个算法。
表1本发明在公开数据库上与其他算法的比较结果

Claims (1)

1.一种基于统计相似性和双向显著性保真度的图像重定向质量评价方法,其特征是按如下步骤进行:
步骤1:获取log-Gabor域的自然场景统计特征;
步骤1.1:获得去相关性后的梯度图
步骤1.1.1:对输入图像进行Ω个方向和S个尺度的log-Gabor滤波,得到幅度响应集合As,o表示第o个方向和第s个尺度上的幅度响应;1≤o≤Ω;1≤s≤S;
步骤1.1.2:利用式(1)建立所述第o个方向和第s个尺度上的幅度响应As,o上任一像素点(x,y)的四个方向的梯度值,包括:水平梯度值Hs,o(x,y)、垂直梯度值Vs,o(x,y)、主对角梯度值D1s,o(x,y)、副对角梯度值D2s,o(x,y);从而得到幅度响应As,o的四个方向的梯度图{Hs,o,Vs,o,D1s,o,D2s,o};
式(1)中,As,o(x,y)表示第o个方向和第s个尺度上的幅度响应As,o在点(x,y)上的像素值;
步骤1.1.3:以Ms,o表示所述四个方向的梯度图{Hs,o,Vs,o,D1s,o,D2s,o}中的任一方向的梯度图,则利用式(2)所示的除法标准化变换方法去除所述梯度图Ms,o中像素点(x,y)的相关性,得到去相关性后的像素点从而得到去相关性后的梯度图
式(2)中,Gi,j(x,y)表示在(x+i,y+j)位置上像素点的高斯加权系数,Ms,o(x+i,y+j)表示梯度图Ms,o中在(x+i,y+j)位置上的像素点;[-I,I]和[-J,J]分别表示在(x,y)位置周围的所有高斯加权区域的长度和高度;β表示防止分母为0的常数;
步骤1.2:获取滤波器方向内统计特征;
步骤1.2.1:从所述四个方向的梯度图{Hs,o,Vs,o,D1s,o,D2s,o}中选择与所述第o个方向和第s个尺度上的幅度响应As,o具有相同方向的梯度图,记为利用广义高斯分布模型对所述具有相同方向的梯度图的统计直方图进行拟合,得到第o个方向和第s个尺度上的形状参数ρs,o和方差σ2 s,o
步骤1.2.2:利用式(3)获得滤波器方向内统计特征F1
步骤1.3:获取梯度方向间统计特征;
步骤1.3.1:利用式(4)获得所述第o个方向和第s个尺度上的在(x,y)位置上的最大边缘响应值Maxs,o(x,y)和最小边缘响应值Mins,o(x,y),从而得到第o个方向和第s个尺度上的最大边缘响应图Maxs,o和最小边缘响应图Mins,o
步骤1.3.2:利用除法标准化变换方法去除所述最大边缘响应图Maxs,o和最小边缘响应图Mins,o的图内相关性;得到去相关性后的最大边缘响应图和最小边缘响应图
步骤1.3.3:利用非对称广义高斯分布模型对所述去相关性后的最大边缘响应图和最小边缘响应图的统计直方图进行拟合,得到第o个方向和第s个尺度上的形状参数ρ′s,o、左方差和右方差
步骤1.3.4:利用式(5)获得梯度方向间统计特征F2
式(5)中,(ρ′max)s,o表示第o个方向和第s个尺度上的最大边缘响应图的形状参数;(σ2 max,l)s,o表示第o个方向和第s个尺度上的最大边缘响应图的左方差;(σ2 max,r)s,o表示第o个方向和第s个尺度上的最大边缘响应图的右方差;(ρ′min)s,o表示第o个方向和第s个尺度上的最小边缘响应图的形状参数;(σ2 min,l)s,o表示第o个方向和第s个尺度上的最小边缘响应图的左方差;(σ2 min,r)s,o表示第o个方向和第s个尺度上的最小边缘响应图的右方差;
步骤1.4:由所述滤波器方向内统计特征F1和梯度方向间统计特征F2构成所述输入图像的自然场景统计特征;
步骤2:将原始图像IO和重定向图像IR分别作为输入图像并按照步骤1进行处理,从而得到所述原始图像IO的自然场景统计特征和重定向图像IR的自然场景统计特征,并获得两者之间的差值,作为输入支持向量回归模型的自然场景差值统计特征;
步骤3:获得所述原始图像IO的显著性图SO
步骤4:衡量双向显著性信息丢失;
步骤4.1.1:利用式(6)得到所述重定向图像IR在位置p上的显著性值SR(p),从而得到所述重定向图像IR的显著性图SR
SR(p)=SO(p+w(p)) (6)
式(6)中,w(p)表示原始图像IO在位置p上的位移矢量,并由前向点对点匹配算法得到;SO(p+w(p))表示原始图像IO在位置(p+w(p))上的显著性值;
步骤4.1.2:利用式(7)获得前向显著性信息丢失值fFSIL
步骤4.2.1:利用式(8)得到位置p上的重建像素值Iwarp(p),从而得到由重定向图像重建的原始图像Iwarp
Iwarp(p)=IR(p+v(p)) (8)
式(8)中,v(p)表示重定向图像在位置p上的位移矢量,并由后向点对点匹配算法得到;IR(p+v(p))表示重定向图像在位置(p+v(p))上的像素值;
步骤4.2.2:采用显著性阈值分割法对所述原始图像IO的显著性图SO中显著性大于阈值δ的区域进行提取,得到显著性区域
步骤4.2.3:利用式(9)获得后向显著性信息丢失值fBSIL
式(9)中,wp表示显著性区域中位置p上的像素相似性,并由式(10)得到:
式(10)中,C表示防止分母为0的常数;IO(p)表示原始图像IO在位置p上的像素值;
步骤5:衡量图像显著性结构失真;
步骤5.1:对所述原始图像IO和重定向图像IR进行后向点对点匹配,得到重定向图像IR在像素点p处的位移矢量(vx(p),vy(p)),从而得到重定向图像IR的全部位移矢量(vx,vy);
步骤5.2:采用中值方法对所述重定向图像IR的全部位移矢量(vx,vy)进行取中值处理,得到重定向图像IR的全部位移的主方向(vmedx,vmedy);
步骤5.3:利用式(11)得到显著性结构失真值fSSD
式(11)中,N表示显著性区域中的像素点个数;
步骤6:由所述自然场景差值统计特征、前向显著性信息丢失值fFSIL、后向显著性信息丢失值fBSIL、显著性结构失真值fSSD构成重定向质量评价特征;
步骤7:利用支持向量回归模型对所述重定向质量评价特征进行训练和预测,从而得到质量评价模型以实现图像重定向质量评价方法。
CN201610817624.1A 2016-09-12 2016-09-12 基于统计相似性和双向显著性保真度的图像重定向质量评价方法 Active CN106447654B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610817624.1A CN106447654B (zh) 2016-09-12 2016-09-12 基于统计相似性和双向显著性保真度的图像重定向质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610817624.1A CN106447654B (zh) 2016-09-12 2016-09-12 基于统计相似性和双向显著性保真度的图像重定向质量评价方法

Publications (2)

Publication Number Publication Date
CN106447654A CN106447654A (zh) 2017-02-22
CN106447654B true CN106447654B (zh) 2019-03-01

Family

ID=58167631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610817624.1A Active CN106447654B (zh) 2016-09-12 2016-09-12 基于统计相似性和双向显著性保真度的图像重定向质量评价方法

Country Status (1)

Country Link
CN (1) CN106447654B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665455B (zh) * 2018-05-14 2022-04-26 北京航空航天大学 图像显著性预测结果的评价方法和装置
CN111311486A (zh) * 2018-12-12 2020-06-19 北京沃东天骏信息技术有限公司 用于处理图像的方法和装置
CN111327946A (zh) * 2018-12-17 2020-06-23 中移(杭州)信息技术有限公司 视频质量评价和特征字典的训练方法、装置和介质
CN109993125B (zh) * 2019-04-03 2022-12-23 腾讯科技(深圳)有限公司 模型训练方法、人脸识别方法、装置、设备及存储介质
CN111028195B (zh) * 2019-10-24 2023-03-24 西安电子科技大学 一种基于实例分割的重定向图像质量信息处理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226824A (zh) * 2013-03-18 2013-07-31 上海交通大学 维持视觉显著性的视频重定向系统
CN104021545A (zh) * 2014-05-12 2014-09-03 同济大学 一种基于视觉显著性的全参考彩色图像质量评价方法
CN104112273A (zh) * 2014-07-04 2014-10-22 上海交通大学 基于对数Gabor滤波器相位相似性的图像质量评价方法
CN104574399A (zh) * 2015-01-06 2015-04-29 天津大学 基于多尺度视觉显著性与梯度幅值的图像质量评价方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9025910B2 (en) * 2012-12-13 2015-05-05 Futurewei Technologies, Inc. Image retargeting quality assessment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226824A (zh) * 2013-03-18 2013-07-31 上海交通大学 维持视觉显著性的视频重定向系统
CN104021545A (zh) * 2014-05-12 2014-09-03 同济大学 一种基于视觉显著性的全参考彩色图像质量评价方法
CN104112273A (zh) * 2014-07-04 2014-10-22 上海交通大学 基于对数Gabor滤波器相位相似性的图像质量评价方法
CN104574399A (zh) * 2015-01-06 2015-04-29 天津大学 基于多尺度视觉显著性与梯度幅值的图像质量评价方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FSIM:A Feature Similarity Index for Image Quality Assessment;Lin Zhang 等;《IEEE Transactions on Image Processing》;20110131;第20卷(第8期);第2378-2386页
Objective Quality Assessment for Image Retargeting Based on Structure Similarity;Yuming Fang 等;《IEEE Joural on Emerging & Slected Topic in Circuits & System》;20140120;第4卷(第1期);第95-105页
基于缝雕刻的图像重定向算法;聂栋栋 等;《燕山大学学报》;20120701;第36卷(第4期);第353-357页

Also Published As

Publication number Publication date
CN106447654A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
CN106447654B (zh) 基于统计相似性和双向显著性保真度的图像重定向质量评价方法
CN107392086B (zh) 人体姿态的评估装置、系统及存储装置
CN106446952B (zh) 一种乐谱图像识别方法及装置
CN103020965B (zh) 一种基于显著性检测的前景分割方法
CN101853286B (zh) 视频缩略图智能选取方法
CN106228528B (zh) 一种基于决策图与稀疏表示的多聚焦图像融合方法
CN106127799B (zh) 一种对于三维视频的视觉注意力检测方法
CN109255358B (zh) 一种基于视觉显著性和深度图的3d图像质量评价方法
CN109472267A (zh) 图片相似度比对算法
CN109670430A (zh) 一种基于深度学习的多分类器融合的人脸活体识别方法
CN104574375A (zh) 结合彩色和深度信息的图像显著性检测方法
CN109345502B (zh) 一种基于视差图立体结构信息提取的立体图像质量评价方法
Gui et al. A new method for soybean leaf disease detection based on modified salient regions
CN106780449A (zh) 一种基于纹理特征的无参考图像质量评价方法
CN104376334B (zh) 一种多尺度特征融合的行人比对方法
KR20120019425A (ko) 화상 처리 장치 및 방법, 및 프로그램
CN108805139B (zh) 一种基于频域视觉显著性分析的图像相似性计算方法
CN112634262A (zh) 一种基于互联网的写字质量评价方法
CN102420985A (zh) 一种多视点视频对象提取方法
CN107292299A (zh) 基于内核规范相关分析的侧面人脸识别方法
CN104036468A (zh) 基于预放大非负邻域嵌入的单帧图像超分辨重建方法
CN106023214B (zh) 基于中央凹视梯度结构相似性的图像质量评价方法及系统
CN104243970A (zh) 基于立体视觉注意力机制和结构相似度的3d绘制图像的客观质量评价方法
CN105930811B (zh) 基于图像处理的手掌纹理特征检测方法
CN101866422A (zh) 基于图像的多特征融合提取图像关注度的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant