CN106504236B - 基于稀疏表示的无参考立体图像质量客观评价方法 - Google Patents

基于稀疏表示的无参考立体图像质量客观评价方法 Download PDF

Info

Publication number
CN106504236B
CN106504236B CN201610915518.7A CN201610915518A CN106504236B CN 106504236 B CN106504236 B CN 106504236B CN 201610915518 A CN201610915518 A CN 201610915518A CN 106504236 B CN106504236 B CN 106504236B
Authority
CN
China
Prior art keywords
entropy
image
rarefaction representation
value
distorted image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610915518.7A
Other languages
English (en)
Other versions
CN106504236A (zh
Inventor
杨嘉琛
林彦聪
姜斌
汪亚芳
沈教勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201610915518.7A priority Critical patent/CN106504236B/zh
Publication of CN106504236A publication Critical patent/CN106504236A/zh
Application granted granted Critical
Publication of CN106504236B publication Critical patent/CN106504236B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于稀疏表示的立体图像质量客观评价方法，包括：进行字典学习；得到失真图像差值图以及失真图像和值图；对立体图像库中的失真图像对进行稀疏表示；对和图和差图进行稀疏表示，得到相应的系数矩阵；对失真立体图像对左右图、和图以及差图稀疏表示后的系数矩阵分别进行求熵操作，得到各自的熵E；利用支持向量机SVM对图像库中图像对的熵及相应的主观评价值DMOS进行训练；得到相应的熵‑DMOS模型；对任意一组失真图像对，进行第一步至第四步操作，得到对应的熵；利用SVM对该图像对的客观预测值进行预测，到最终的客观预测值。本发明能够充分考虑双视点特性。

Description

基于稀疏表示的无参考立体图像质量客观评价方法
技术领域
本发明属图像处理领域，涉及一种无参考立体图像质量客观评价方法。
背景技术
近年来，三维技术逐渐普及，步入大众生活，为观众带来了更好的视觉体验和临场感，但同时也对立体图像的质量提出了更高的要求。由于立体图像的不恰当处理可能会引起观看者的视觉疲劳与不适，因此十分有必要提出一种统一、客观、有效的立体图像质量评价方法对立体图像质量进行准确的预测。
现有的立体图像质量评价方法主要包括基于平面图像质量参数的评价方法和基于人类视觉基本特性的评价方法两种。但是，基于平面图像质量参数的评价方法没有充分考虑人类视觉特性，缺少对立体信息有效利用，因而难以投入实践。现有的基于人类视觉基本特性的评价方法中最重要的一步是立体匹配，但是如何有效地提取立体信息，合理地进行匹配，仍然是立体图像领域关注的焦点。因此，很有必要建立一个以立体图像基本信息为基础，又充分考虑人类视觉特性的立体图像质量客观评价方法。
此外，鉴于现有的立体图像质量评价方法需要原始的参考图像作为评价依据，因此具有很大的局限性，所以无参考(即不需要原始的参考图像对做评价依据)立体图像质量评价方法应运而生。
发明内容
本发明的目的在于提供一种充分考虑人类视觉特性的立体图像质量客观评价方法。本发明将立体图像对和图和差图与人类视觉系统的基本特性相结合，对立体图像质量做出更加全面、准确的客观评价。技术方案如下：
一种基于稀疏表示的立体图像质量客观评价方法，每个失真立体图像对由左图和右图组成，设失真图像对为(tl,tr)，包括以下步骤：
第一步：奇异值分解算法K-SVD进行字典学习。
第二步，模拟人眼的立体感双通道特性，将图像库中的所有失真图像对(tl,tr)进行相减取绝对值和求和取均值操作，得到失真图像差值图td以及失真图像和值图ts；
第三步：对立体图像库中的失真图像对进行稀疏表示。
第四步：利用正交匹配追踪算法OMP对第二步中得到的和图和差图进行稀疏表示，得到相应的系数矩阵Cs和Cd。
第五步：对失真立体图像对左右图、和图以及差图稀疏表示后的系数矩阵分别进行求熵操作，得到各自的熵E。
第六步：利用支持向量机SVM对图像库中图像对的熵及相应的主观评价值DMOS进行训练。具体如下，随机选择Q×80％幅图像对的熵和DMOS用于训练，得到相应的熵-DMOS模型。
第七步：对任意一组失真图像对，进行第一步至第五步操作，得到对应的熵。根据第六步中得到的熵-DMOS模型，利用SVM对该图像对的客观预测值进行预测，到最终的客观预测值。
本发明所提出的立体图像客观质量评价方法以立体图像稀疏表示系数为基础，以人类视觉特性为评价依据，把熵与视觉感知过程相结合，充分模拟了立体图像主观评价的过程，得到的立体图像质量客观评价结果与主观评价结果具有很高的一致性，能够较为准确的反映图像的质量。
附图说明
图1是本发明的流程框图。
具体实施方式
基于稀疏表示的立体图像质量客观评价方法，每个失真立体图像对由左图和右图组成，设失真图像对为(tl,tr)，包括以下步骤：
第一步：选取P幅m×n尺寸无失真的平面参考图像，每个图像分割为8×8的图像块M＝[m/8]×[n/8]个，其中[x]表示不大于x的最大整数。并将每个8×8的图像块按列排成一列，标记为xi(64×1)。这样每个无失真参考图像都可以转换为(64×1)×M的二维矩阵。P幅无失真平面参考图像通过上述处理，可以得到一个64×(M×P)的二维矩阵。随后，根据公式(1)，可以求得相应的字典D。
在求解的过程中，字典的求解利用K-SVD算法，迭代次数设置为40次，字典稀疏基(原子)的数目为256。
第二步：对立体图像库中的失真图像对进行稀疏表示。假定立体图像库中，图像对的总数目为Q，失真图像对左(右)图大小为m×n。利用第一步中得到的字典D，对每一组失真图像对的左、右图进行稀疏表示，求得相应的系数矩阵Cl和Cr。此过程中，采用的算法是 OMP算法，迭代次数为14次。每组失真图相对的左(右)图系数矩阵的大小为256×([m/8]×[n/8]) ×14的三维矩阵。
第三步，模拟人眼的立体感双通道特性，将图像库中的所有失真图像对(tl,tr)进行相减取绝对值和求和取均值操作，得到失真图像差值图td以及失真图像和值图ts。参照第二步，得到的和图和差图进行稀疏表示，得到相应的系数矩阵Cs和Cd
第四步：对失真立体图像对左右图、和图以及差图稀疏表示后的系数矩阵分别进行求熵操作，得到各自的熵E。以和图为例，具体操作如下：
用代表稀疏表示第i(1≤i≤14)次迭代中，第j(1≤j≤256)个稀疏基中系数的具体值。
对应概率分布函数如下：
根据香农公式，其熵如下：
其中，k是稀疏基的个数，本发明中k＝256。按照上述操作，分别求得每一组失真立体图像对左右图、和图以及差图的熵，每一组熵均为1×56的行向量。
第五步：利用支持向量机(SVM)对图像库中图像对的熵及相应的主观评价值DMOS进行训练。具体如下，随机选择Q×80％幅图像对的熵和主观预测值(DMOS)用于训练，得到相应的熵-DMOS模型。
第六步：对任意一组失真图像对，进行第一步至第四步操作，得到对应的熵。根据第四步中得到的熵-DMOS模型，利用SVM对该图像对的客观预测值进行预测，到最终的客观预测值。

Claims (1)

1.一种基于稀疏表示的立体图像质量客观评价方法，每个失真图像对由左图和右图组成，设失真图像对为(tl,tr)，包括以下步骤：
第一步：奇异值分解算法K-SVD进行字典学习；
第二步，模拟人眼的立体感双通道特性，将图像库中的所有失真图像对(tl,tr)进行相减取绝对值和求和取均值操作，得到失真图像差值图td以及失真图像和值图ts；
第三步：对立体图像库中的失真图像对进行稀疏表示；
第四步：利用正交匹配追踪算法OMP对第二步中得到的和值图和差值图进行稀疏表示，得到相应的系数矩阵Cs和Cd；
第五步：对失真图像对左右图、和值图以及差值图稀疏表示后的系数矩阵分别进行求熵操作，得到各自的熵E；
第六步：利用支持向量机SVM对图像库中图像对的熵及相应的主观评价值DMOS进行训练；具体如下，随机选择Q×80％幅图像对的熵和DMOS用于训练，得到相应的熵-DMOS模型；
第七步：对任意一组失真图像对，进行第一步至第五步操作，得到对应的熵，根据第六步中得到的熵-DMOS模型，利用SVM对该图像对的客观预测值进行预测，到最终的客观预测值。
CN201610915518.7A 2016-10-20 2016-10-20 基于稀疏表示的无参考立体图像质量客观评价方法 Active CN106504236B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610915518.7A CN106504236B (zh) 2016-10-20 2016-10-20 基于稀疏表示的无参考立体图像质量客观评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610915518.7A CN106504236B (zh) 2016-10-20 2016-10-20 基于稀疏表示的无参考立体图像质量客观评价方法

Publications (2)

Publication Number Publication Date
CN106504236A CN106504236A (zh) 2017-03-15
CN106504236B true CN106504236B (zh) 2019-10-25

Family

ID=58318155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610915518.7A Active CN106504236B (zh) 2016-10-20 2016-10-20 基于稀疏表示的无参考立体图像质量客观评价方法

Country Status (1)

Country Link
CN (1) CN106504236B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107371013B (zh) * 2017-07-12 2019-03-08 天津大学 基于色相角和差通道的立体图像质量评价方法
CN108389189B (zh) * 2018-02-08 2021-05-14 天津大学 基于字典学习的立体图像质量评价方法
CN109544504A (zh) * 2018-10-16 2019-03-29 天津大学 基于稀疏表示的屏幕图像质量评价方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102721952A (zh) * 2012-05-16 2012-10-10 西安电子科技大学 基于超分辨多普勒谱的地面运动目标稳健分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9591322B2 (en) * 2013-12-30 2017-03-07 New York University Coding using a redundant dictionary, such as video coding using a self-adaptive redundant dictionary including spatial and/or temporal prediction candidate atoms

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102721952A (zh) * 2012-05-16 2012-10-10 西安电子科技大学 基于超分辨多普勒谱的地面运动目标稳健分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
匹配追踪过程复合熵矩转子故障诊断;李会龙等;《噪声与振动控制》;20160229;第36卷(第1期);168-172 *

Also Published As

Publication number Publication date
CN106504236A (zh) 2017-03-15

Similar Documents

Publication Publication Date Title
WO2019222467A8 (en) Self-supervised training of a depth estimation system
CN106530282B (zh) 基于空域特征的无参考立体图像质量客观评价方法
CN106651835B (zh) 基于熵的双视点无参考立体图像质量客观评价方法
CN104581143B (zh) 一种基于机器学习的无参考立体图像质量客观评价方法
CN105744256B (zh) 基于图谱视觉显著的立体图像质量客观评价方法
CN103581661B (zh) 一种立体图像视觉舒适度评价方法
CN110599395B (zh) 目标图像生成方法、装置、服务器及存储介质
CN102209257A (zh) 一种立体图像质量客观评价方法
CN106504236B (zh) 基于稀疏表示的无参考立体图像质量客观评价方法
CN104240248B (zh) 一种无参考立体图像质量客观评价方法
CN109191428B (zh) 基于掩蔽纹理特征的全参考型图像质量评价方法
CN104811693B (zh) 一种立体图像视觉舒适度客观评价方法
CN104036502B (zh) 一种无参考模糊失真立体图像质量评价方法
CN106997581A (zh) 一种利用深度学习重建高光谱图像的方法
CN109977981A (zh) 基于双目视觉的场景解析方法、机器人及存储装置
CN107154064B (zh) 基于深度稀疏编码的自然图像压缩感知重建方法
MY196307A (en) Face Image Processing Method and Apparatus, Image Device, and Storage Medium
CN101901472B (zh) 一种基于矩阵秩最小化的非刚性鲁棒批量图像对齐方法
CN105761251A (zh) 一种基于低秩和结构稀疏的视频前景背景分离方法
CN111988593A (zh) 一种基于深度残差优化的立体图像颜色校正方法及系统
CN103338379A (zh) 一种基于机器学习的立体视频客观质量评价方法
CN107360416A (zh) 基于局部多元高斯描述子的立体图像质量评价方法
CN109409380B (zh) 一种基于双学习网络的立体图像视觉显著提取方法
TW201928780A (zh) 視線追蹤設備中確定參數的方法和裝置
CN104361583A (zh) 一种非对称失真立体图像客观质量评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant