CN106780432B - 一种基于稀疏特征相似度的立体图像质量客观评价方法 - Google Patents

一种基于稀疏特征相似度的立体图像质量客观评价方法 Download PDF

Info

Publication number
CN106780432B
CN106780432B CN201611025119.XA CN201611025119A CN106780432B CN 106780432 B CN106780432 B CN 106780432B CN 201611025119 A CN201611025119 A CN 201611025119A CN 106780432 B CN106780432 B CN 106780432B
Authority
CN
China
Prior art keywords
org
dis
pixel
denoted
coordinate position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611025119.XA
Other languages
English (en)
Other versions
CN106780432A (zh
Inventor
周武杰
顾鹏笠
周扬
邱薇薇
张爽爽
潘婷
吴茗蔚
陈芳妮
郑卫红
陈寿法
孙丽慧
葛丁飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Fangwei Intellectual Property Operation Co.,Ltd.
Original Assignee
Zhejiang Lover Health Science and Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lover Health Science and Technology Development Co Ltd filed Critical Zhejiang Lover Health Science and Technology Development Co Ltd
Priority to CN201611025119.XA priority Critical patent/CN106780432B/zh
Publication of CN106780432A publication Critical patent/CN106780432A/zh
Application granted granted Critical
Publication of CN106780432B publication Critical patent/CN106780432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于稀疏特征相似度的立体图像质量客观评价方法，其提取融合图像字典表和视点图像字典表；然后采用一阶双目融合模型，利用融合图像字典表提取一阶融合图像稀疏特征图，同时利用视点图像字典表提取左、右视点图像各自的稀疏特征图，采用二阶双目融合模型对左、右视点图像各自的稀疏特征图进行融合，得到二阶融合稀疏特征图；再利用稀疏特征相似度的方法得到失真立体图像的客观质量评价预测值；优点是在字典学习阶段避免了复杂的机器学习训练过程，且无需预知各无失真立体图像的主观评价值；在质量预测阶段采用的一阶双目融合模型和二阶双目融合模型能有效表示双目视觉特性，因此能有效地提高客观评价结果与主观感知之间的相关性。

Description

一种基于稀疏特征相似度的立体图像质量客观评价方法
技术领域
本发明涉及一种立体图像质量客观评价方法，尤其是涉及一种基于稀疏特征相似度的立体图像质量客观评价方法。
背景技术
进入二十一世纪以来，随着立体图像/视频系统处理技术的日趋成熟，以及计算机网络与通信技术的快速发展，已引起人们对立体图像/视频系统的强烈需求。相比传统的单视点图像/视频系统，立体图像/视频系统由于能够提供深度信息来增强视觉的真实感，给用户以身临其境的全新视觉体验而越来越受到人们的欢迎，已被认为是下一代媒体主要的发展方向，已引发了学术界、产业界的广泛关注。然而，人们为了获得更好的立体临场感和视觉体验，对立体视觉主观感知质量提出了更高的要求。在立体图像/视频系统中，采集、编码、传输、解码及显示等处理环节都会引入一定失真，这些失真将对立体视觉主观感知质量产生不同程度的影响，因此如何有效地进行无参考质量评价是亟需解决的难点问题。综上，评价立体图像质量，并建立与主观质量评价相一致的客观评价模型显得尤为重要。
目前，立体图像质量客观评价方法大致可以分为三类：第一类主要是基于2D的评价方法；第二类是在基于2D的评价方法的基础上，再结合其他一些信息，如深度或视差信息等；第三类是依靠3D方面的信息来评价。其中，基于2D的评价方法中常用的方法是直接采用经典的平面图像质量评价方法来评价立体图像质量的方法，由于立体图像和平面图像最大的区别就是立体图像具有深度感、临场感，然而该方法未考虑到左视点图像和右视点图像的特性，或只是评价了左视点图像的质量和右视点图像的质量，而没有结合双目融合视觉特性，因此导致最终客观评价结果与主观感知的相关性较差。由于影响立体图像质量的因素较多，如左视点和右视点质量失真情况、立体感知情况、观察者视觉疲劳等，因此如何有效地进行立体图像质量评价是亟需解决的难点问题。稀疏表示将信号在已知的函数集上进行分解，力求在变换域上用尽量少的基函数来对原始信号进行逼近。稀疏表示的一个关键问题就是如何有效地构造字典来表征图像的本质特征。因此，如何构造能反映立体图像本质特征的字典，如何根据字典来进行质量估计，都是在立体图像质量评价研究中需要重点解决的技术问题。
发明内容
本发明所要解决的技术问题是提供一种基于稀疏特征相似度的立体图像质量客观评价方法，其能够充分考虑到立体视觉感知特性，从而能够有效地提高客观评价结果与主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为：一种基于稀疏特征相似度的立体图像质量客观评价方法，其特征在于包括字典学习阶段和质量预测阶段两个过程；
所述的字典学习阶段的具体步骤如下：
①_1、选取K幅宽度为W且高度为H的原始的无失真立体图像，将第k幅原始的无失真立体图像记为Sorg,k，将Sorg,k的左视点图像和右视点图像对应记为{Lorg,k(x,y)}和{Rorg,k(x,y)}，其中，K≥1，1≤k≤K，1≤x≤W,1≤y≤H，Lorg,k(x,y)表示{Lorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg,k(x,y)表示{Rorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值；
①_2、采用一阶双目融合模型，对每幅原始的无失真立体图像的左视点图像和右视点图像进行融合，得到每幅原始的无失真立体图像的一阶融合图像，将对{Lorg,k(x,y)}和{Rorg,k(x,y)}进行融合得到的Sorg,k的一阶融合图像记为{Corg,k(x,y)}，其中，Corg,k(x,y)表示{Corg,k(x,y)}中坐标位置为(x,y)的像素点的像素值；
①_3、采用K-SVD方法，对所有原始的无失真立体图像的一阶融合图像进行联合字典训练操作，得到融合图像字典表，记为{Dc(x,y)}，其中，Dc(x,y)表示{Dc(x,y)}中坐标位置为(x,y)的像素点的像素值；
并采用K-SVD方法，对所有原始的无失真立体图像的左视点图像和右视点图像进行联合字典训练操作，得到视点图像字典表，记为{Dv(x,y)}，其中，Dv(x,y)表示{Dv(x,y)}中坐标位置为(x,y)的像素点的像素值；
所述的质量预测阶段的具体步骤如下：
②_1、令Sorg表示宽度为W且高度为H的原始的无失真参考立体图像，令Sdis表示Sorg经非对称失真后得到的非对称失真立体图像，将Sdis作为待评价的非对称失真立体图像，将Sorg的左视点图像和右视点图像对应记为{Lorg(x,y)}和{Rorg(x,y)}，将Sdis的左视点图像和右视点图像对应记为{Ldis(x,y)}和{Rdis(x,y)}，其中，Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值，Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值；
②_2、采用一阶双目融合模型，对{Lorg(x,y)}和{Rorg(x,y)}进行融合，得到Sorg的一阶融合图像，记为{Corg(x,y)}，其中，Corg(x,y)表示{Corg(x,y)}中坐标位置为(x,y)的像素点的像素值；
同样，采用一阶双目融合模型，对{Ldis(x,y)}和{Rdis(x,y)}进行融合，得到Sdis的一阶融合图像，记为{Cdis(x,y)}，其中，Cdis(x,y)表示{Cdis(x,y)}中坐标位置为(x,y)的像素点的像素值；
②_3、根据字典学习阶段得到的融合图像字典表{Dc(x,y)}，并采用K-SVD求解方法对{Corg(x,y)}进行处理，得到Sorg的一阶融合稀疏特征图，记为{SRorg(x,y)}，其中，SRorg(x,y)表示{SRorg(x,y)}中坐标位置为(x,y)的像素点的像素值；
同样，根据字典学习阶段得到的融合图像字典表{Dc(x,y)}，并采用K-SVD求解方法对{Cdis(x,y)}进行处理，得到Sdis的一阶融合稀疏特征图，记为{SRdis(x,y)}，其中，SRdis(x,y)表示{SRdis(x,y)}中坐标位置为(x,y)的像素点的像素值；
根据字典学习阶段得到的视点图像字典表{Dv(x,y)}，并采用K-SVD求解方法对{Lorg(x,y)}进行处理，得到{Lorg(x,y)}的稀疏特征图，记为{SRL,org(x,y)}，其中，SRL,org(x,y)表示{SRL,org(x,y)}中坐标位置为(x,y)的像素点的像素值；
同样，根据字典学习阶段得到的视点图像字典表{Dv(x,y)}，并采用K-SVD求解方法对{Rorg(x,y)}进行处理，得到{Rorg(x,y)}的稀疏特征图，记为{SRR,org(x,y)}，其中，SRR,org(x,y)表示{SRR,org(x,y)}中坐标位置为(x,y)的像素点的像素值；
同样，根据字典学习阶段得到的视点图像字典表{Dv(x,y)}，并采用K-SVD求解方法对{Ldis(x,y)}进行处理，得到{Ldis(x,y)}的稀疏特征图，记为{SRL,dis(x,y)}，其中，SRL,dis(x,y)表示{SRL,dis(x,y)}中坐标位置为(x,y)的像素点的像素值；
同样，根据字典学习阶段得到的视点图像字典表{Dv(x,y)}，并采用K-SVD求解方法对{Rdis(x,y)}进行处理，得到{Rdis(x,y)}的稀疏特征图，记为{SRR,dis(x,y)}，其中，SRR,dis(x,y)表示{SRR,dis(x,y)}中坐标位置为(x,y)的像素点的像素值；
②_4、采用二阶双目融合模型，对{SRL,org(x,y)}和{SRR,org(x,y)}进行融合，得到Sorg的二阶融合稀疏特征图，记为{SRL,R,org(x,y)}，其中，SRL,R,org(x,y)表示{SRL,R,org(x,y)}中坐标位置为(x,y)的像素点的像素值；
同样，采用二阶双目融合模型，对{SRL,dis(x,y)}和{SRR,dis(x,y)}进行融合，得到Sdis的二阶融合稀疏特征图，记为{SRL,R,dis(x,y)}，其中，SRL,R,dis(x,y)表示{SRL,R,dis(x,y)}中坐标位置为(x,y)的像素点的像素值；
②_5、根据{SRorg(x,y)}和{SRL,R,org(x,y)}及{SRdis(x,y)}和{SRL,R,dis(x,y)}，并采用相似度计算方法计算得到Sdis的客观质量评价预测值，记为Qdis。
所述的步骤②_5中其中，C为控制参数。
所述的控制参数C取值为0.85。
与现有技术相比，本发明的优点在于：
1)本发明方法在字典学习阶段采用一阶双目融合模型，对左视点图像和右视点图像进行融合，得到一阶融合图像，然后通过无监督学习方式对由所有一阶融合图像构成的集合进行联合字典训练操作，构造得到融合图像字典表；同时，通过无监督学习方式对由所有左视点图像和右视点图像构成的集合进行联合字典训练操作，构造得到视点图像字典表；这样避免了复杂的机器学习训练过程，并且本发明方法在字典学习阶段不需要预知各无失真立体图像的主观评价值，因此更加适用于实际的应用场合。
2)本发明方法在质量预测阶段采用一阶双目融合模型，对左视点图像和右视点图像进行融合得到一阶融合图像，再利用融合图像字典表提取一阶融合稀疏特征图；同时利用视点图像字典表，提取左视点图像和右视点图像各自的稀疏特征图，再采用二阶双目融合模型，对左视点图像和右视点图像各自的稀疏特征图进行融合得到二阶融合稀疏特征图；由于采用的一阶双目融合模型和二阶双目融合模型能够有效表示双目视觉特性，充分考虑到了立体视觉感知特性，因此能有效地提高客观评价结果与主观感知之间的相关性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于稀疏特征相似度的立体图像质量客观评价方法，其总体实现框图如图1所示，其处理过程为：首先，通过无监督学习方式，提取融合图像字典表和视点图像字典表；其次，采用一阶双目融合模型，并利用融合图像字典表提取融合图像稀疏特征图，作为一阶融合图像稀疏特征图，同时利用视点图像字典表提取左视点图像和右视点图像各自的稀疏特征图，采用二阶双目融合模型对左视点图像和右视点图像各自的稀疏特征图进行融合，得到二阶融合稀疏特征图；最后，利用稀疏特征相似度的方法得到失真立体图像的客观质量评价预测值。
本发明的基于稀疏特征相似度的立体图像质量客观评价方法包括字典学习阶段和质量预测阶段两个过程；所述的字典学习阶段的具体步骤如下：
①_1、选取K幅宽度为W且高度为H的原始的无失真立体图像，将第k幅原始的无失真立体图像记为Sorg,k，将Sorg,k的左视点图像和右视点图像对应记为{Lorg,k(x,y)}和{Rorg,k(x,y)}，其中，K≥1，如取K＝10，1≤k≤K，1≤x≤W,1≤y≤H，Lorg,k(x,y)表示{Lorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg,k(x,y)表示{Rorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值。
①_2、采用现有的一阶双目融合模型，对每幅原始的无失真立体图像的左视点图像和右视点图像进行融合，得到每幅原始的无失真立体图像的一阶融合图像，将对{Lorg,k(x,y)}和{Rorg,k(x,y)}进行融合得到的Sorg,k的一阶融合图像记为{Corg,k(x,y)}，其中，Corg,k(x,y)表示{Corg,k(x,y)}中坐标位置为(x,y)的像素点的像素值。
①_3、采用现有的K-SVD方法，对所有原始的无失真立体图像的一阶融合图像进行联合字典训练操作，得到融合图像字典表，记为{Dc(x,y)}，其中，Dc(x,y)表示{Dc(x,y)}中坐标位置为(x,y)的像素点的像素值。
并采用现有的K-SVD方法，对所有原始的无失真立体图像的左视点图像和右视点图像进行联合字典训练操作，得到视点图像字典表，记为{Dv(x,y)}，其中，Dv(x,y)表示{Dv(x,y)}中坐标位置为(x,y)的像素点的像素值。
所述的质量预测阶段的具体步骤如下：
②_1、令Sorg表示宽度为W且高度为H的原始的无失真参考立体图像，令Sdis表示Sorg经非对称失真后得到的非对称失真立体图像，将Sdis作为待评价的非对称失真立体图像，将Sorg的左视点图像和右视点图像对应记为{Lorg(x,y)}和{Rorg(x,y)}，将Sdis的左视点图像和右视点图像对应记为{Ldis(x,y)}和{Rdis(x,y)}，其中，Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值，Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值。
②_2、采用现有的一阶双目融合模型，对{Lorg(x,y)}和{Rorg(x,y)}进行融合，得到Sorg的一阶融合图像，记为{Corg(x,y)}，其中，Corg(x,y)表示{Corg(x,y)}中坐标位置为(x,y)的像素点的像素值。
同样，采用现有的一阶双目融合模型，对{Ldis(x,y)}和{Rdis(x,y)}进行融合，得到Sdis的一阶融合图像，记为{Cdis(x,y)}，其中，Cdis(x,y)表示{Cdis(x,y)}中坐标位置为(x,y)的像素点的像素值。
②_3、根据字典学习阶段得到的融合图像字典表{Dc(x,y)}，并采用现有的K-SVD求解方法对{Corg(x,y)}进行处理，得到Sorg的一阶融合稀疏特征图，记为{SRorg(x,y)}，其中，SRorg(x,y)表示{SRorg(x,y)}中坐标位置为(x,y)的像素点的像素值。
同样，根据字典学习阶段得到的融合图像字典表{Dc(x,y)}，并采用现有的K-SVD求解方法对{Cdis(x,y)}进行处理，得到Sdis的一阶融合稀疏特征图，记为{SRdis(x,y)}，其中，SRdis(x,y)表示{SRdis(x,y)}中坐标位置为(x,y)的像素点的像素值。
根据字典学习阶段得到的视点图像字典表{Dv(x,y)}，并采用现有的K-SVD求解方法对{Lorg(x,y)}进行处理，得到{Lorg(x,y)}的稀疏特征图，记为{SRL,org(x,y)}，其中，SRL,org(x,y)表示{SRL,org(x,y)}中坐标位置为(x,y)的像素点的像素值。
同样，根据字典学习阶段得到的视点图像字典表{Dv(x,y)}，并采用现有的K-SVD求解方法对{Rorg(x,y)}进行处理，得到{Rorg(x,y)}的稀疏特征图，记为{SRR,org(x,y)}，其中，SRR,org(x,y)表示{SRR,org(x,y)}中坐标位置为(x,y)的像素点的像素值。
同样，根据字典学习阶段得到的视点图像字典表{Dv(x,y)}，并采用现有的K-SVD求解方法对{Ldis(x,y)}进行处理，得到{Ldis(x,y)}的稀疏特征图，记为{SRL,dis(x,y)}，其中，SRL,dis(x,y)表示{SRL,dis(x,y)}中坐标位置为(x,y)的像素点的像素值。
同样，根据字典学习阶段得到的视点图像字典表{Dv(x,y)}，并采用现有的K-SVD求解方法对{Rdis(x,y)}进行处理，得到{Rdis(x,y)}的稀疏特征图，记为{SRR,dis(x,y)}，其中，SRR,dis(x,y)表示{SRR,dis(x,y)}中坐标位置为(x,y)的像素点的像素值。
②_4、采用现有的二阶双目融合模型，对{SRL,org(x,y)}和{SRR,org(x,y)}进行融合，得到Sorg的二阶融合稀疏特征图，记为{SRL,R,org(x,y)}，其中，SRL,R,org(x,y)表示{SRL,R,org(x,y)}中坐标位置为(x,y)的像素点的像素值。
同样，采用现有的二阶双目融合模型，对{SRL,dis(x,y)}和{SRR,dis(x,y)}进行融合，得到Sdis的二阶融合稀疏特征图，记为{SRL,R,dis(x,y)}，其中，SRL,R,dis(x,y)表示{SRL,R,dis(x,y)}中坐标位置为(x,y)的像素点的像素值。
②_5、根据{SRorg(x,y)}和{SRL,R,org(x,y)}及{SRdis(x,y)}和{SRL,R,dis(x,y)}，并采用相似度计算方法计算得到Sdis的客观质量评价预测值，记为Qdis，其中，C为控制参数，在本实施例中取C＝0.85。
为了进一步验证本发明方法的可行性和有效性，进行实验。
在此，采用LIVE立体图像失真库来分析利用本发明方法得到的非对称失真立体图像的客观质量评价预测值与平均主观评分差值之间的相关性。这里，利用评估图像质量评价方法的3个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient，PLCC)、Spearman相关系数(Spearman rankorder correlation coefficient，SROCC)、均方误差(root mean squared error，RMSE)，PLCC和RMSE反映非对称失真立体图像的客观质量评价预测值的准确性，SROCC反映其单调性。
利用本发明方法计算LIVE立体图像失真库中的每幅非对称失真立体图像的客观质量评价预测值，再利用现有的主观评价方法获得LIVE立体图像失真库中的每幅非对称失真立体图像的平均主观评分差值。将按本发明方法计算得到的非对称失真立体图像的客观质量评价预测值做五参数Logistic函数非线性拟合，PLCC和SROCC值越高，RMSE值越低说明客观评价方法的客观评价结果与平均主观评分差值之间的相关性越好。反映本发明方法的质量评价性能的PLCC、SROCC和RMSE相关系数如表1所列。从表1所列的数据可知，按本发明方法得到的非对称失真立体图像的客观质量评价预测值与平均主观评分差值之间的相关性是很好的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的可行性和有效性。
表1利用本发明方法得到的非对称失真立体图像的客观质量评价预测值与平均主观评分差值之间的相关性

Claims (2)

1.一种基于稀疏特征相似度的立体图像质量客观评价方法，其特征在于包括字典学习阶段和质量预测阶段两个过程；
所述的字典学习阶段的具体步骤如下：
①_1、选取K幅宽度为W且高度为H的原始的无失真立体图像，将第k幅原始的无失真立体图像记为Sorg,k，将Sorg,k的左视点图像和右视点图像对应记为{Lorg,k(x,y)}和{Rorg,k(x,y)}，其中，K≥1，1≤k≤K，1≤x≤W,1≤y≤H，Lorg,k(x,y)表示{Lorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg,k(x,y)表示{Rorg,k(x,y)}中坐标位置为(x,y)的像素点的像素值；
①_2、采用一阶双目融合模型，对每幅原始的无失真立体图像的左视点图像和右视点图像进行融合，得到每幅原始的无失真立体图像的一阶融合图像，将对{Lorg,k(x,y)}和{Rorg,k(x,y)}进行融合得到的Sorg,k的一阶融合图像记为{Corg,k(x,y)}，其中，Corg,k(x,y)表示{Corg,k(x,y)}中坐标位置为(x,y)的像素点的像素值；
①_3、采用K-SVD方法，对所有原始的无失真立体图像的一阶融合图像进行联合字典训练操作，得到融合图像字典表，记为{Dc(x,y)}，其中，Dc(x,y)表示{Dc(x,y)}中坐标位置为(x,y)的像素点的像素值；
并采用K-SVD方法，对所有原始的无失真立体图像的左视点图像和右视点图像进行联合字典训练操作，得到视点图像字典表，记为{Dv(x,y)}，其中，Dv(x,y)表示{Dv(x,y)}中坐标位置为(x,y)的像素点的像素值；
所述的质量预测阶段的具体步骤如下：
②_1、令Sorg表示宽度为W且高度为H的原始的无失真参考立体图像，令Sdis表示Sorg经非对称失真后得到的非对称失真立体图像，将Sdis作为待评价的非对称失真立体图像，将Sorg的左视点图像和右视点图像对应记为{Lorg(x,y)}和{Rorg(x,y)}，将Sdis的左视点图像和右视点图像对应记为{Ldis(x,y)}和{Rdis(x,y)}，其中，Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值，Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值；
②_2、采用一阶双目融合模型，对{Lorg(x,y)}和{Rorg(x,y)}进行融合，得到Sorg的一阶融合图像，记为{Corg(x,y)}，其中，Corg(x,y)表示{Corg(x,y)}中坐标位置为(x,y)的像素点的像素值；
同样，采用一阶双目融合模型，对{Ldis(x,y)}和{Rdis(x,y)}进行融合，得到Sdis的一阶融合图像，记为{Cdis(x,y)}，其中，Cdis(x,y)表示{Cdis(x,y)}中坐标位置为(x,y)的像素点的像素值；
②_3、根据字典学习阶段得到的融合图像字典表{Dc(x,y)}，并采用K-SVD求解方法对{Corg(x,y)}进行处理，得到Sorg的一阶融合稀疏特征图，记为{SRorg(x,y)}，其中，SRorg(x,y)表示{SRorg(x,y)}中坐标位置为(x,y)的像素点的像素值；
同样，根据字典学习阶段得到的融合图像字典表{Dc(x,y)}，并采用K-SVD求解方法对{Cdis(x,y)}进行处理，得到Sdis的一阶融合稀疏特征图，记为{SRdis(x,y)}，其中，SRdis(x,y)表示{SRdis(x,y)}中坐标位置为(x,y)的像素点的像素值；
根据字典学习阶段得到的视点图像字典表{Dv(x,y)}，并采用K-SVD求解方法对{Lorg(x,y)}进行处理，得到{Lorg(x,y)}的稀疏特征图，记为{SRL,org(x,y)}，其中，SRL,org(x,y)表示{SRL,org(x,y)}中坐标位置为(x,y)的像素点的像素值；
同样，根据字典学习阶段得到的视点图像字典表{Dv(x,y)}，并采用K-SVD求解方法对{Rorg(x,y)}进行处理，得到{Rorg(x,y)}的稀疏特征图，记为{SRR,org(x,y)}，其中，SRR,org(x,y)表示{SRR,org(x,y)}中坐标位置为(x,y)的像素点的像素值；
同样，根据字典学习阶段得到的视点图像字典表{Dv(x,y)}，并采用K-SVD求解方法对{Ldis(x,y)}进行处理，得到{Ldis(x,y)}的稀疏特征图，记为{SRL,dis(x,y)}，其中，SRL,dis(x,y)表示{SRL,dis(x,y)}中坐标位置为(x,y)的像素点的像素值；
同样，根据字典学习阶段得到的视点图像字典表{Dv(x,y)}，并采用K-SVD求解方法对{Rdis(x,y)}进行处理，得到{Rdis(x,y)}的稀疏特征图，记为{SRR,dis(x,y)}，其中，SRR,dis(x,y)表示{SRR,dis(x,y)}中坐标位置为(x,y)的像素点的像素值；
②_4、采用二阶双目融合模型，对{SRL,org(x,y)}和{SRR,org(x,y)}进行融合，得到Sorg的二阶融合稀疏特征图，记为{SRL,R,org(x,y)}，其中，SRL,R,org(x,y)表示{SRL,R,org(x,y)}中坐标位置为(x,y)的像素点的像素值；
同样，采用二阶双目融合模型，对{SRL,dis(x,y)}和{SRR,dis(x,y)}进行融合，得到Sdis的二阶融合稀疏特征图，记为{SRL,R,dis(x,y)}，其中，SRL,R,dis(x,y)表示{SRL,R,dis(x,y)}中坐标位置为(x,y)的像素点的像素值；
②_5、根据{SRorg(x,y)}和{SRL,R,org(x,y)}及{SRdis(x,y)}和{SRL,R,dis(x,y)}，并采用相似度计算方法计算得到Sdis的客观质量评价预测值，记为Qdis；
所述的步骤②_5中其中，C为控制参数。
2.根据权利要求1所述的一种基于稀疏特征相似度的立体图像质量客观评价方法，其特征在于所述的控制参数C取值为0.85。
CN201611025119.XA 2016-11-14 2016-11-14 一种基于稀疏特征相似度的立体图像质量客观评价方法 Active CN106780432B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611025119.XA CN106780432B (zh) 2016-11-14 2016-11-14 一种基于稀疏特征相似度的立体图像质量客观评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611025119.XA CN106780432B (zh) 2016-11-14 2016-11-14 一种基于稀疏特征相似度的立体图像质量客观评价方法

Publications (2)

Publication Number Publication Date
CN106780432A CN106780432A (zh) 2017-05-31
CN106780432B true CN106780432B (zh) 2019-05-28

Family

ID=58969875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611025119.XA Active CN106780432B (zh) 2016-11-14 2016-11-14 一种基于稀疏特征相似度的立体图像质量客观评价方法

Country Status (1)

Country Link
CN (1) CN106780432B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389189B (zh) * 2018-02-08 2021-05-14 天津大学 基于字典学习的立体图像质量评价方法
CN108924542A (zh) * 2018-05-24 2018-11-30 天津大学 基于显著性和稀疏性的无参考立体视频质量评价方法
CN113362315B (zh) * 2021-06-22 2022-09-30 中国科学技术大学 基于多算法融合的图像质量评价方法及评价模型

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903259A (zh) * 2014-03-20 2014-07-02 宁波大学 一种基于结构纹理分离的立体图像质量客观评价方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102325259A (zh) * 2011-09-09 2012-01-18 青岛海信数字多媒体技术国家重点实验室有限公司 多视点视频中虚拟视点合成方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103903259A (zh) * 2014-03-20 2014-07-02 宁波大学 一种基于结构纹理分离的立体图像质量客观评价方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Zhou Wang;A.C. Bovik;H.R. Sheikh;E.P. Simoncelli.Image Quality Assessment: From Error Visibility to Structural Similarity.《IEEE Transactions on Image Processing》.2004,第13卷(第4期),600-612页，公式6-17.

Also Published As

Publication number Publication date
CN106780432A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN105979253B (zh) 基于广义回归神经网络的无参考立体图像质量评价方法
CN104658001B (zh) 一种无参考非对称失真立体图像客观质量评价方法
CN104036501B (zh) 一种基于稀疏表示的立体图像质量客观评价方法
CN105376563B (zh) 基于双目融合特征相似度的无参考立体图像质量评价方法
CN105282543B (zh) 一种基于立体视觉感知的全盲立体图像质量客观评价方法
CN104243976B (zh) 一种立体图像客观质量评价方法
CN105407349B (zh) 基于双目视觉感知的无参考立体图像质量客观评价方法
CN101610425B (zh) 一种评测立体图像质量的方法和装置
CN101877143B (zh) 一种二维图像组的三维场景重建方法
CN104902268B (zh) 基于局部三元模式的无参考立体图像客观质量评价方法
CN106791822B (zh) 一种基于单双目特征学习的无参考立体图像质量评价方法
CN104361583B (zh) 一种确定非对称失真立体图像客观质量的方法
CN106780432B (zh) 一种基于稀疏特征相似度的立体图像质量客观评价方法
CN104954780A (zh) 一种适用于高清2d/3d转换的dibr虚拟图像修复方法
CN104408716A (zh) 一种基于视觉保真度的立体图像质量客观评价方法
CN107330873A (zh) 基于多尺度双目融合和局部特征提取的立体图像质量客观评价方法
CN104036502A (zh) 一种无参考模糊失真立体图像质量评价方法
CN105488792B (zh) 基于字典学习和机器学习的无参考立体图像质量评价方法
CN109409380B (zh) 一种基于双学习网络的立体图像视觉显著提取方法
CN104240248A (zh) 一种无参考立体图像质量客观评价方法
CN106023152B (zh) 一种无参考立体图像质量客观评价方法
CN105069794B (zh) 一种基于双目竞争的全盲立体图像质量评价方法
CN105898279B (zh) 一种立体图像质量客观评价方法
CN108848365B (zh) 一种重定位立体图像质量评价方法
CN102999911B (zh) 一种基于能量图的立体图像质量客观评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211125

Address after: 510670 room 517, No. 91 Kefeng Road, Huangpu District, Guangzhou City, Guangdong Province

Patentee after: Guangzhou Fangwei Intellectual Property Operation Co.,Ltd.

Address before: 310023 No. 318 stay Road, Xihu District, Zhejiang, Hangzhou

Patentee before: ZHEJIANG University OF SCIENCE AND TECHNOLOGY