CN109377488A - 一种基于视觉跟踪的插值图像评价方法 - Google Patents

一种基于视觉跟踪的插值图像评价方法 Download PDF

Info

Publication number
CN109377488A
CN109377488A CN201811240013.0A CN201811240013A CN109377488A CN 109377488 A CN109377488 A CN 109377488A CN 201811240013 A CN201811240013 A CN 201811240013A CN 109377488 A CN109377488 A CN 109377488A
Authority
CN
China
Prior art keywords
interpolation
interpolation image
image
model
access control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811240013.0A
Other languages
English (en)
Inventor
徐艺文
陈锦铃
赵铁松
陈静
刘怡桑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201811240013.0A priority Critical patent/CN109377488A/zh
Publication of CN109377488A publication Critical patent/CN109377488A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于视觉跟踪的插值图像评价方法。首先通过主观实验获取用户在观看插值图像时的视觉注意力分布情况。其次根据注意力分布的特点分别构建时间维度的显著性模型以及空间维度的感兴趣区域（Region of Interest，ROI）模型。最后可以通过将上述模型加权求和以构建整体的质量评价算法对插值图像进行质量评价，以提高预测插值图像质量的精确度。本发明主要解决用户观看插值图像时的视觉注意力分布问题，以提高插值图像质量评价的精确度。

Description

一种基于视觉跟踪的插值图像评价方法
技术领域
本发明涉及图像质量评价领域，特别是一种基于视觉跟踪的插值图像评价方法。
背景技术
在很多情况下，人们需要对数字图像进行进一步的处理比如，为了做广告宣传，需要将拍摄的艺术照片做成巨幅海报；为了分析深层地质结构，需要对仪器采集的图像做局部细化；为了分析外星球的大气和地面状况，需要使遥感卫星图片模糊细节变得有意义；为了侦破缺少目击证人的案件，需要对监控录像做清晰化处理这些，就需要用到图像的插值技术，将原始低分辨率图像或模糊图像进行放大，并且要保证所要求的清晰度。
插值，分为图像内插值和图像间插值，其主要应用是对图像进行放大以及旋转等操作，是根据一幅较低分辨率图像再生出另一幅均具有较高分辨率的图像，是图像内插值。图像间的插值，也叫图像的超分辨率重建，是指在一图像序列之间再生出若干幅新的图像，可应用于医学图像序列切片和视频序列之间的插值图像内插值实际上是对单帧图像的图像重建过程，这就意味着生成原始图像中没有的数据。
现有的大多数算法都仅考虑插值图像本身的特征，对于插值图像的视觉特性的研究涉足甚少，而符合人眼视觉特性的的质量评价才是发展趋势。
发明内容
有鉴于此，本发明的目的是提出一种基于视觉跟踪的插值图像评价方法，能实现对插值图像质量的精确预测。
本发明采用以下方案实现：一种基于视觉跟踪的插值图像评价方法，包括以下步骤：
步骤S1：构建插值图像数据库，通过主观实验获取用户的视觉跟踪数据；
步骤S2：分析视觉跟踪数据的特点，构建时间维度的显著性模型；
步骤S3：分析视觉跟踪数据的特点，构建空间维度的ROI模型；
步骤S4：通过步骤S2得到的显著性模型和步骤S3得到的ROI模型的加权传统质量评价方法来构建基于视觉跟踪的插值图像的质量评价方法。
进一步地，步骤S1具体为：使用15张分辨率为1024×768的原始图像，使用6种插值算法(bicubic，bilinear,nearest,EOD,RLLR,NARM)以4个不同的插值因子(2，3.7，4.5，6)对原始图像进行插值处理，最终组成375张的图像数据集，包括15张原始图像和360张插值图像；使用Tobbi Pro Spectrum 150眼动仪记录24名用户在观看插值图像时的视觉注意力分布，获得最终的用户视觉跟踪数据。该眼动仪的采样频率为150Hz，空间分辨率为0.4度，精度为0.1度。头部运动箱在65厘米处为34×26厘米，操作距离为55-75厘米。图像显示在分辨率为1920×1080像素的显示器上。
进一步地，步骤S2具体包括以下步骤：
步骤S21：使用热图可视化视觉跟踪数据；
步骤S22：将得到的热图线性归一化到0-1之间，并提取alpha通道的信息，作为时间维度的显著性模型。
进一步地，步骤S21具体为：首先遍历所有用户的所有注视点的持续时间，然后将图像中同一位置上的持续时间相加，最后使用样条拟合高斯分布，得到热图。
较佳的，由于热图能够准确地可视化用户的视觉跟踪数据，本发明可以使用热图可视化视觉跟踪数据。首先遍历24名用户在观看插值图像时所有注视点的持续时间，然后在图像里相同的X和Y像素中添加了所有记录的持续时间总和。最后固定持续时间的分布是通过2D图像处理中常用的高斯曲线的近似，即Cubic Hermite(cspline)，这里的cspline使用如下多项式进行拟合：
y＝x2(3-2x)；
其中，高斯的标准偏差为50像素。本发明将得到的热图线性归一化到0-1之间。为了获得时间维度的显著性模型，提取每张插值图像热图的alpha通道信息，作为其时间维度的显著性模型。
进一步地，上述所得的插值图像的显著性模型可以用来获得该图像对应的ROI模型。ROI模型为用户在观看图像时的眼动轨迹，即包含显著性模型中值大于0的所有值。步骤S3具体为：将步骤S22归一化后的热图中值大于0的像素值赋值为1，其余为0，即可构建空间维度的ROI模型。
进一步地，步骤S4具体为：通过显著性模型和ROI模型的加权来构建最终的插值质量评价算法SM_Q和ROI_Q：
式中，m代表插值图像块的个数，每个插值图像块的大小为256×256；Saliency(i)和ROI(i)分别代表第i个插值图像块时间维度和空间维度的权重值，Q(i)表示第i个插值图像块的质量值。
与现有技术相比，本发明有以下有益效果：本发明提出的基于视觉跟踪的质量评价方法，主要解决用户观看插值图像时的视觉注意力分布问题，以提高插值图像质量评价的精确度，实现对插值图像质量精准预测的目的。
附图说明
图1为本发明实施例的方法流程示意图。
图2为本发明实施例的热图、时间维度显著性模型和空间维度ROI模型的示意图，其中(a)为热图，(b)为时间维度显著性模型，(c)为空间维度ROI模型。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1以及图2所示，本实施例提供了一种基于视觉跟踪的插值图像评价方法，包括以下步骤：
步骤S1：构建插值图像数据库，通过主观实验获取用户的视觉跟踪数据；
步骤S2：分析视觉跟踪数据的特点，构建时间维度的显著性模型；
步骤S3：分析视觉跟踪数据的特点，构建空间维度的ROI模型；
步骤S4：通过步骤S2得到的显著性模型和步骤S3得到的ROI模型的加权传统质量评价方法来构建基于视觉跟踪的插值图像的质量评价方法。
在本实施例中，步骤S1具体为：使用15张分辨率为1024×768的原始图像，使用6种插值算法(bicubic，bilinear,nearest,EOD,RLLR,NARM)以4个不同的插值因子(2，3.7，4.5，6)对原始图像进行插值处理，最终组成375张的图像数据集，包括15张原始图像和360张插值图像；使用Tobbi Pro Spectrum 150眼动仪记录24名用户在观看插值图像时的视觉注意力分布，获得最终的用户视觉跟踪数据。该眼动仪的采样频率为150Hz，空间分辨率为0.4度，精度为0.1度。头部运动箱在65厘米处为34×26厘米，操作距离为55-75厘米。图像显示在分辨率为1920×1080像素的显示器上。
在本实施例中，步骤S2具体包括以下步骤：
步骤S21：使用热图可视化视觉跟踪数据；
步骤S22：将得到的热图线性归一化到0-1之间，并提取alpha通道的信息，作为时间维度的显著性模型。
在本实施例中，步骤S21具体为：首先遍历所有用户的所有注视点的持续时间，然后将图像中同一位置上的持续时间相加，最后使用样条拟合高斯分布，得到热图。
较佳的，在本实施例中，由于热图能够准确地可视化用户的视觉跟踪数据，本发明可以使用热图可视化视觉跟踪数据。首先遍历24名用户在观看插值图像时所有注视点的持续时间，然后在图像里相同的X和Y像素中添加了所有记录的持续时间总和。最后固定持续时间的分布是通过2D图像处理中常用的高斯曲线的近似，即Cubic Hermite(cspline)，这里的cspline使用如下多项式进行拟合：
y＝x2(3-2x)；
其中，高斯的标准偏差为50像素。本发明将得到的热图线性归一化到0-1之间。为了获得时间维度的显著性模型，提取每张插值图像热图的alpha通道信息，作为其时间维度的显著性模型。
在本实施例中，上述所得的插值图像的显著性模型可以用来获得该图像对应的ROI模型。ROI模型为用户在观看图像时的眼动轨迹，即包含显著性模型中值大于0的所有值。步骤S3具体为：将步骤S22归一化后的热图中值大于0的像素值赋值为1，其余为0，即可构建空间维度的ROI模型。
在本实施例中，步骤S4具体为：通过显著性模型和ROI模型的加权来构建最终的插值质量评价算法SM_Q和ROI_Q：
式中，m代表插值图像块的个数，每个插值图像块的大小为256×256；Saliency(i)和ROI(i)分别代表第i个插值图像块时间维度和空间维度的权重值，Q(i)表示第i个插值图像块的质量值。
为了验证本实施例的有效性，需要建立插值图像的主观数据库。首先，选取15张不同内容的原始图像，通过4个插值因子(2，3.7，4.5，6)对原始图像进行下采样获得低分辨率图像，然后使用6种插值算法对低分辨率图像进行插值得到高分辨率图像，最终建立一个360张插值图像的数据库。在进行主观测试时，插值图像随机排列显示在一个屏幕上，实验人员考对图像按照0-10分进行打分。数据库中插值图像的主观质量分数由24个实验人员的平均意见分数表示。
本实施例通过计算主观质量分数与算法获得的质量值之间的相关系数来验证本实施例算法的性能，并与传统的显著性模型的加权结果进行比较。其中相关系数包括皮尔森线性相关系数(Pearson Linear Correlation Coefficient，PLCC)，斯皮尔曼秩相关系数(Spearman Rank-order Correlation Coefficient，SRCC)以及肯德尔秩次相关系数(Kendall Rank-order Correlation Coefficient，KRCC)，相关系数的值越接近1，代表模型的准确性越高。实验结果如下表所示。
本实施例针对插值图像提出一种基于视觉跟踪的质量评价方法，实现对插值图像质量精准预测的目的。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (6)

1.一种基于视觉跟踪的插值图像评价方法，其特征在于：包括以下步骤：
步骤S1：构建插值图像数据库，通过主观实验获取用户的视觉跟踪数据；
步骤S2：分析视觉跟踪数据的特点，构建时间维度的显著性模型；
步骤S3：分析视觉跟踪数据的特点，构建空间维度的ROI模型；
步骤S4：通过步骤S2得到的显著性模型和步骤S3得到的ROI模型的加权传统质量评价方法来构建基于视觉跟踪的插值图像的质量评价方法。
2.根据权利要求1所述的一种基于视觉跟踪的插值图像评价方法，其特征在于：步骤S1具体为：使用15张分辨率为1024×768的原始图像，使用6种插值算法以4个不同的插值因子对原始图像进行插值处理，最终组成375张的图像数据集，包括15张原始图像和360张插值图像；使用眼动仪记录24名用户在观看插值图像时的视觉注意力分布，获得最终的用户视觉跟踪数据。
3.根据权利要求1所述的一种基于视觉跟踪的插值图像评价方法，其特征在于：步骤S2具体包括以下步骤：
步骤S21：使用热图可视化视觉跟踪数据；
步骤S22：将得到的热图线性归一化到0-1之间，并提取alpha通道的信息，作为时间维度的显著性模型。
4.根据权利要求3所述的一种基于视觉跟踪的插值图像评价方法，其特征在于：步骤S21具体为：首先遍历所有用户的所有注视点的持续时间，然后将图像中同一位置上的持续时间相加，最后使用样条拟合高斯分布，得到热图。
5.根据权利要求3所述的一种基于视觉跟踪的插值图像评价方法，其特征在于：步骤S3具体为：将步骤S22归一化后的热图中值大于0的像素值赋值为1，其余为0，即可构建空间维度的ROI模型。
6.根据权利要求1所述的一种基于视觉跟踪的插值图像评价方法，其特征在于：步骤S4具体为：通过显著性模型和ROI模型的加权来构建最终的插值质量评价算法SM_Q和ROI_Q：
式中，m代表插值图像块的个数，每个插值图像块的大小为256×256；Saliency(i)和ROI(i)分别代表第i个插值图像块时间维度和空间维度的权重值，Q(i)表示第i个插值图像块的质量值。
CN201811240013.0A 2018-10-24 2018-10-24 一种基于视觉跟踪的插值图像评价方法 Pending CN109377488A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811240013.0A CN109377488A (zh) 2018-10-24 2018-10-24 一种基于视觉跟踪的插值图像评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811240013.0A CN109377488A (zh) 2018-10-24 2018-10-24 一种基于视觉跟踪的插值图像评价方法

Publications (1)

Publication Number Publication Date
CN109377488A true CN109377488A (zh) 2019-02-22

Family

ID=65401594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811240013.0A Pending CN109377488A (zh) 2018-10-24 2018-10-24 一种基于视觉跟踪的插值图像评价方法

Country Status (1)

Country Link
CN (1) CN109377488A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109960892A (zh) * 2019-04-04 2019-07-02 北京理工大学 一种基于眼动信号的cad指令生成方法及系统
CN110348296A (zh) * 2019-05-30 2019-10-18 北京市遥感信息研究所 一种基于人机融合的目标识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825503A (zh) * 2016-03-10 2016-08-03 天津大学 基于视觉显著性的图像质量评价方法
CN106127799A (zh) * 2016-06-16 2016-11-16 方玉明 一种对于三维视频的视觉注意力检测方法
CN106650816A (zh) * 2016-12-28 2017-05-10 深圳信息职业技术学院 一种视频质量评价方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825503A (zh) * 2016-03-10 2016-08-03 天津大学 基于视觉显著性的图像质量评价方法
CN106127799A (zh) * 2016-06-16 2016-11-16 方玉明 一种对于三维视频的视觉注意力检测方法
CN106650816A (zh) * 2016-12-28 2017-05-10 深圳信息职业技术学院 一种视频质量评价方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HANTAO LIU ET AL: "Visual Attention in Objective Image Quality Assessment: Based on Eye-Tracking Data", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
何小波: "基于人眼视觉特性的图像质量客观评价方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
张昀等: "视线跟踪技术的图像质量主观数据库构建及其可视化", 《中国图象图形学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109960892A (zh) * 2019-04-04 2019-07-02 北京理工大学 一种基于眼动信号的cad指令生成方法及系统
CN110348296A (zh) * 2019-05-30 2019-10-18 北京市遥感信息研究所 一种基于人机融合的目标识别方法
CN110348296B (zh) * 2019-05-30 2022-04-12 北京市遥感信息研究所 一种基于人机融合的目标识别方法

Similar Documents

Publication Publication Date Title
Jiang et al. Single image super-resolution quality assessment: a real-world dataset, subjective studies, and an objective metric
Du et al. Fully convolutional measurement network for compressive sensing image reconstruction
Xu et al. Arid: A new dataset for recognizing action in the dark
CN109523470B (zh) 一种深度图像超分辨率重建方法及系统
CN106127688B (zh) 一种超分辨率图像重建方法及其系统
CN109978854B (zh) 一种基于边缘与结构特征的屏幕内容图像质量评估方法
Tian et al. A multi-order derivative feature-based quality assessment model for light field image
JP2018527687A (ja) 知覚的な縮小方法を用いて画像を縮小するための画像処理システム
CN104992403B (zh) 一种基于视觉相似度度量的混合操作算子图像重定向方法
CN110111347B (zh) 图像标志提取方法、装置及存储介质
CN110298829A (zh) 一种舌诊方法、装置、系统、计算机设备和存储介质
CN107343196A (zh) 一种混合失真无参考图像质量评价方法
CN109377488A (zh) 一种基于视觉跟踪的插值图像评价方法
Zhang et al. Large factor image super-resolution with cascaded convolutional neural networks
CN115424209A (zh) 一种基于空间金字塔注意力网络的人群计数方法
CN106023214A (zh) 基于中央凹视梯度结构相似性的图像质量评价方法及系统
Kınlı et al. AIM 2022 challenge on Instagram filter removal: methods and results
CN111488779A (zh) 视频图像超分辨率重建方法、装置、服务器及存储介质
Zamani et al. Multiple-frames super-resolution for closed circuit television forensics
CN108776958B (zh) 混合降质图像的图像质量评价方法和装置
CN106530253A (zh) 一种sar图像压缩感知重建样本的构建方法
Peng Super-resolution reconstruction using multiconnection deep residual network combined an improved loss function for single-frame image
Li et al. A practical residual block-based no-reference quality metric for neutron radiographic images
Xu et al. Multifocus image fusion using local perceived sharpness
CN108932709A (zh) 多幅图像超分辨率重建的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190222