CN113298891A - 基于四元数小波变换的全参考3d合成图像质量评价方法 - Google Patents

基于四元数小波变换的全参考3d合成图像质量评价方法 Download PDF

Info

Publication number
CN113298891A
CN113298891A CN202110614969.8A CN202110614969A CN113298891A CN 113298891 A CN113298891 A CN 113298891A CN 202110614969 A CN202110614969 A CN 202110614969A CN 113298891 A CN113298891 A CN 113298891A
Authority
CN
China
Prior art keywords
image
gray level
similarity
quaternion
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110614969.8A
Other languages
English (en)
Inventor
汪斌
陈淑聪
姜飞龙
徐翘楚
张奥
李兴隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiaxing University
Original Assignee
Jiaxing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiaxing University filed Critical Jiaxing University
Priority to CN202110614969.8A priority Critical patent/CN113298891A/zh
Publication of CN113298891A publication Critical patent/CN113298891A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于四元数小波变换的全参考3D合成图像质量评价方法，该方法事先计算彩色3D合成失真图像I和彩色3D参考图像D之间的四元数小波系数相似度V，再将彩色图像转换成灰度图像后，计算灰度失真图像I和灰度参考图像D之间的纹理相似度Z，并计算灰度失真图像I和灰度参考图像D之间的拉伸相似度Y，最后融合四元数小波系数相似度V、纹理相似度Z和拉伸相似度Y得到总的3D合成图像质量评价结果，该方法计算方便，综合考虑了3D合成图像的高频细节失真信息、纹理失真信息和拉伸失真信息，提高了3D合成图像质量评价精度。

Description

基于四元数小波变换的全参考3D合成图像质量评价方法
技术领域
本发明属于图像处理领域，尤其涉及一种方法计算方便、综合考虑了图像的四元数小波系数相似度特征、纹理相似度特征和拉伸相似度特征、提高了3D合成图像质量评价精度的基于四元数小波变换的全参考3D合成图像质量评价方法。
背景技术
随着三维技术的发展，自由视点视频技术在三维电视、虚拟现实和三维视频会议等领域得到广泛应用，自由视点视频技术促进了基于深度图的绘制(Depth-Image BasedRender，DIBR)技术的发展，DIBR技术根据已有的视点图像生成3D合成图像，减少了三维图像和视频的存储和传输数据量。由于不精确的深度图估计、遮挡和合成算法等原因，采用DBIR技术合成的3D合成图像存在着失真，与自然图像失真不同的是，这些失真主要由几何失真构成，传统的图像质量评价方法主要针对自然图像失真进行评价，针对3D合成图像失真效果不佳。因此有必要开发专门针对3D合成图像失真进行评价的图像质量评价方法。
针对3D合成图像质量评价，国内外学者提出了一些方法。Battisti[F.Battisti，E.Bosc，M.Carli，P.Le Callet，and S.Perugia，Objective image quality assessmentof 3D synthesized views，Signal Processing and Image Communication，vol.30，2015.]采用参考图像和失真图像的小波系数统计特征相似度进行3D合成图像质量评价；Sandic-Stankovic[D.Sandic-Stankovic，D.Kukolj，and P.LeCallet，DIBR-synthesizedimage quality assessment based on morpho-logical wavelets，In Proc.IEEEInt.Workshop Quality Multimedia Experience，2015.]采用形态小波分解，并计算参考图像和失真图像分解系数的PSNR(峰值信噪比)进行3D合成图像质量评价；Yue[G.Yue，C.Hou，K.Gu，T.Zhou，and G.Zhai，Combining local and global measures for DIBR-synthesized image quality evaluation，IEEE Transaction on Image Processing，2018.]通过计算遮挡区域中心像素和邻域像素的相似度来衡量几何失真，同时计算失真图像和其下采样图像之间的距离来衡量模糊失真，结合几何失真和模糊失真得到总的客观图像质量评价结果；Gu[K.Gu，V.Jakhetiya，J.F.Qiao，X.Li，W.Lin and D.Thalmann，Model-based referenceless quality metric of 3D synthesized images using local imagedescription，IEEE Transaction on Image Processing，27(1)：394-405，2018.]采用自相关模型检测几何失真，并结合视觉显著度进行3D合成图像质量评价。
以上方法在进行3D合成图像质量评价时，只考虑了局部失真，但3D合成图像除了局部失真外，也存在全局结构失真和梯度失真，此外，图像复杂度对3D合成图像质量评价结果也有一定影响，所以这些方法与主观评价结果之间仍存在差距。因此需要一种计算方便和更高图像质量评价精度的基于四元数小波变换的全参考3D合成图像质量评价方法。
因此需要一种方法计算方便、综合考虑了图像的四元数小波系数相似度特征、纹理相似度特征和拉伸相似度特征、提高了3D合成图像质量评价精度的基于四元数小波变换的全参考3D合成图像质量评价方法。
发明内容
本发明的目的是提供一种方法计算方便、综合考虑了图像的四元数小波系数相似度特征、纹理相似度特征和拉伸相似度特征、提高了3D合成图像质量评价精度的基于四元数小波变换的全参考3D合成图像质量评价方法。
基于四元数小波变换的全参考3D合成图像质量评价方法，包括：
步骤(1)：从输入3D合成图像失真图像集中输入彩色失真图像X和彩色参考图像A，将彩色失真图像转换为灰度失真图像I，将彩色参考图像转换为灰度参考图像D；
步骤(2)：计算彩色失真图像X和彩色参考图像A之间的四元数小波系数相似度V，具体步骤如下：
步骤(2.1)：对彩色失真图像X，将其分解为红色分量XR、绿色分量XG和蓝色分量XB；对彩色参考图像A，将其分解为红色分量AR、绿色分量AG和蓝色分量AB；
步骤(2.2)：将彩色失真图像X的红色分量XR在(x，y)位置的像素取值XR(x，y)、绿色分量XG在(x，y)位置的像素取值XG(x，y)和蓝色分量XB在(x，y)位置的像素取值XB(x，y)组成四元数变量QX(x，y)，并将彩色参考图像A的红色分量AR在(x，y)位置的像素取值AR(x，y)、绿色分量AG在(x，y)位置的像素取值AG(x，y)和蓝色分量AB在(x，y)位置的像素取值AB(x，y)组成四元数变量QA(x，y)，采用公式如下：
Figure BDA0003097700270000021
Figure BDA0003097700270000022
其中，
Figure BDA0003097700270000023
和
Figure BDA0003097700270000024
分别表示四元数的三个虚数单位；
步骤(2.3)：将四元数变量QX(x，y)组合成四元数失真图像QX，将四元数变量QA(x，y)组合成四元数参考图像QA；
步骤(2.4)：对彩色失真图像X构建的四元数失真图像QX进行四元数小波变换，分别得到低频子带(LL)和三个高频子带(LH、HL、HH)的四元数小波系数，记为
Figure BDA0003097700270000025
在每个子带上得到一个幅值ρX和三个相位，三个相位分别记为
Figure BDA0003097700270000026
φX和θX，采用公式如下：
Figure BDA0003097700270000027
Figure BDA0003097700270000028
Figure BDA0003097700270000031
Figure BDA0003097700270000032
其中，a为四元数小波系数的实部，b、c和d分别为四元数小波系数的虚部，arctan(·)为求反正切操作；
Figure BDA0003097700270000033
步骤(2.5)：对幅值ρX采用canny算子进行边缘检测，得到幅度边缘ηX；
步骤(2.6)：采用与步骤(2.4)类似的方法对彩色参考图像A构建的四元数图像QA进行四元数小波变换，分别得到低频子带(LL)和三个高频子带(LH、HL、HH)，在每个子带上得到一个幅值ρA和三个相位，分别记为
Figure BDA0003097700270000034
φA和θA；
步骤(2.7)：对幅值ρA采用canny算子进行边缘检测，得到幅度边缘ηA；
步骤(2.8)：计算彩色失真图像X和彩色参考图像A之间低频子带(LL)的一个幅度边缘相似度S1和三个相位相似度S2、S3和S4，计算公式如下：
Figure BDA0003097700270000035
Figure BDA0003097700270000036
Figure BDA0003097700270000037
Figure BDA0003097700270000038
其中，C1、C2、C3和C4为避免分母为零而设的常数；
步骤(2.9)：将LL子带的一个幅度边缘相似度和三个相位相似度组合成LL低频子带相似度SLL，计算公式如下：
Figure BDA0003097700270000039
其中，α1、β1、λ1和γ1分别为S1、S2、S3和S4的指数；
步骤(2.10)：同样按步骤(2.8)到步骤(2.9)的方法得到LH子带相似度SLH、HL子带相似度SHL和HH子带相似度SHH；
步骤(2.11)：融合LL子带相似度SLL、LH子带相似度SLH、HL子带相似度SHL和HH子带相似度SHH得到总的四元数小波系数相似度V，采用公式如下：
V＝ω1SLL+ω2SLH+ω3SHL+ω4SHH
其中，ω1、ω2、ω3和ω4分别为加权系数；
步骤(3)：计算灰度失真图像I和灰度参考图像D之间的纹理相似度Z，具体步骤如下：
步骤(3.1)：计算得到0°、45°、90°和135°四个方向灰度共生矩阵的归一化矩阵，具体计算公式如下：
Figure BDA0003097700270000041
Figure BDA0003097700270000042
其中，p和q分别为灰度共生矩阵的横向和纵向索引，CM0(p，q)为0°方向的灰度共生矩阵，CM45(p，q)为45°方向的灰度共生矩阵，CM90(p，q)为90°方向的灰度共生矩阵，CM135(p，q)为135°方向的灰度共生矩阵，NCM0(p，q)为0°方向的归一化灰度共生矩阵，NCM45(p，q)为45°方向的归一化灰度共生矩阵，NCM90(p，q)为90°方向的归一化灰度共生矩阵，NCM135(p，q)为135°方向的归一化灰度共生矩阵；
步骤(3.2)：对四个方向的灰度共生矩阵计算二阶矩、熵、对比度和均匀度，计算方法如下：
二阶矩WMθ计算公式为：
Figure BDA0003097700270000043
其中θ＝0°，45°，90°，135°；
共生矩阵熵WEθ计算公式为：
Figure BDA0003097700270000044
其中θ＝0°，45°，90°，135°；
其中，log(·)为求取对数操作；
对比度WCθ计算公式为：
Figure BDA0003097700270000045
其中θ＝0°，45°，90°，135°；
其中，|·|为求取绝对值操作；
均匀度WHθ计算公式为：
Figure BDA0003097700270000046
其中θ＝0°，45°，90°，135°；
其中，τ为避免分母为零而设的常数；|·|为求取绝对值操作；
步骤(3.3)：计算灰度失真图像I和灰度参考图像D之间的纹理相似度Z，具体公式如下：
步骤(3.3.1)：计算四个方向的灰度共生矩阵二阶矩相似度，计算公式如下：
Figure BDA0003097700270000051
其中，WMθD为灰度参考图像D的灰度共生矩阵二阶矩，WMθI为灰度失真图像I的灰度共生矩阵二阶矩，Wθ为θ方向的灰度共生矩阵二阶矩相似度，其中θ＝0°，45°，90°，135°，C5为避免分母为零而设的常数；
步骤(3.3.2)：将四个方向的灰度共生矩阵二阶矩相似度合成为二阶矩相似度W1，采用公式如下：
Figure BDA0003097700270000052
其中，α2、β2、λ2和γ2分别为W0、W45、W90和W135的指数；
步骤(3.3.3)：同样按步骤(3.3.1)到步骤(3.3.2)的方法计算共生矩阵熵相似度W2、对比度相似度W3和均匀度相似度W4；
步骤(3.3.4)：融合步骤(3.3.2)得到的二阶矩相似度W1，步骤(3.3.3)的共生矩阵熵相似度W2、对比度相似度W3和均匀度相似度W4得到总的纹理相似度Z，采用公式如下：
Z＝ω1W1+ω2W2+ω3W3+ω4W4
其中，ω1、ω2、ω3和ω4为加权系数；
步骤(4)：计算灰度失真图像I和灰度参考图像D之间的拉伸相似度Y，具体步骤如下：
步骤(4.1)：对灰度失真图像I和灰度参考图像D分别采用Sobel算子提取出梯度信息，其中水平方向的Sobel算子公式如下：
Figure BDA0003097700270000053
步骤(4.2)：采用四个方向的Sobel算子分别对输入灰度失真图像I和灰度参考图像D进行滤波，计算公式表示如下：
Figure BDA0003097700270000054
Figure BDA0003097700270000055
其中
Figure BDA0003097700270000056
表示二维卷积运算，S0分别是灰度参考图像D经过水平方向的Sobel算子P0卷积滤波后得到的图像，T0分别是参考图像D经过水平方向的Sobel算子P0卷积滤波后得到的图像；
Figure BDA0003097700270000061
Figure BDA0003097700270000062
Figure BDA0003097700270000063
Figure BDA0003097700270000064
Figure BDA0003097700270000065
Figure BDA0003097700270000066
Figure BDA0003097700270000067
Figure BDA0003097700270000068
其中，μD1为灰度参考图像D的左拉伸区域的梯度均值，μI1为灰度失真图像I的左拉伸区域的梯度均值，μD2为灰度参考图像D的右拉伸区域的梯度均值，μI2为灰度失真图像I的右拉伸区域的梯度均值；σD1为灰度参考图像D的左拉伸区域的梯度标准差，σI1为灰度失真图像I的左拉伸区域的梯度标准差，σD2为灰度参考图像D的右拉伸区域的梯度标准差，σI2为灰度失真图像I的右拉伸区域的梯度标准差；m为灰度失真图像I或灰度参考图像D的纵向索引，l为灰度失真图像I或灰度参考图像D的横向索引；M为灰度失真图像I或灰度参考图像D的高度，L为图像中左拉伸区域和右拉伸区域的宽度；
步骤(4.3)：计算灰度失真图像I和灰度参考图像D之间的拉伸相似度Y，计算公式如下：
Figure BDA0003097700270000069
Figure BDA00030977002700000610
Y＝Y1×Y2
其中，Y1是左拉伸区域的拉伸相似度，Y2是右拉伸区域的拉伸相似度，Y是灰度失真图像I和灰度参考图像D之间的拉伸相似度，C6为避免分母为零而设的常数；C7为避免分母为零而设的常数；
步骤(5)：融合步骤步骤(2)的四元数小波系数相似度V、步骤(3)的的纹理相似度Z和步骤(4)的拉伸相似度Y，得到总的图像质量评价准则K，得到总的图像质量评价准则K，计算公式如下：
Figure BDA0003097700270000071
其中，α3、β3和λ3分别为V、Z和Y的指数。
所述C1、C2、C3、C4、C5、C6和C7取值均为0.01。
所述ω1、ω2、ω3和ω4取值分别为0.5、0.2、0.2和0.1。
所述α1取值为0.7，β1取值为0.2，λ1取值为0.2，γ1取值为0.1。
所述α2取值为0.7，β2取值为0.2，λ2取值为0.2，γ2取值为0。
所述α3取值为0.7，β3取值为0.2，λ3取值为0.2，γ3取值为0.1。
所述τ取值均为1。
本发明涉及一种基于四元数小波变换的全参考3D合成图像质量评价方法，该方法将彩色图像转换成灰度图像后，计算灰度失真图像I和灰度参考图像D之间的四元数小波系数相似度V，计算灰度失真图像I和灰度参考图像D之间的纹理相似度Z，计算灰度失真图像I和灰度参考图像D之间的拉伸相似度Y，最后融合四元数小波系数相似度、纹理相似度和拉伸相似度得到总的3D合成图像质量评价结果；该方法充分考虑3D合成失真图像与参考图像之间的彩色图像高频细节失真、图像纹理失真和左右边框的拉伸失真，采用四元数小波变换提取3D合成彩色图像的高频细节信息，采用0°、45°、90°和135°四个方向的灰度共生矩阵二阶矩、熵、对比度和均匀度提取3D合成彩色图像的纹理信息，采用水平方向Sobel算子提取3D彩色图像左右拉伸区域的拉伸失真信息，综合考虑高频细节信息、纹理信息和拉伸失真信息，提高了3D合成图像质量评价精度。
附图说明
图1为基于四元数小波变换的全参考3D合成图像质量评价方法流程图。
图2为灰度失真图像I或灰度参考图像D中左拉伸区域和右拉伸区域位置示意图。
具体实施方式
以下结合附图和具体实施例，对本发明做进一步说明。本发明采用IRCCyN/IVC合成图像数据库作为实验数据库，该数据库包含12幅参考图像和84幅3D综合图像，所有图像分辨率为1024×768，其中，综合图像由7种不同的DBIR算法生成，同时IRCCyN/IVC数据库提供了每一幅图像的主观查分平均意见分值(DMOS)；
基于四元数小波变换的全参考3D合成图像质量评价方法，包括：
步骤(1)：从输入3D合成图像失真图像集中输入彩色失真图像和彩色参考图像，将彩色失真图像转换为灰度失真图像I，将彩色参考图像转换为灰度参考图像D；
步骤(2)：计算彩色失真图像X和彩色参考图像A之间的四元数小波系数相似度V，具体步骤如下：
步骤(2.1)：对彩色失真图像X，将其分解为红色分量XR、绿色分量XG和蓝色分量XB；对彩色参考图像A，将其分解为红色分量AR、绿色分量AG和蓝色分量AB；
步骤(2.2)：将彩色失真图像X的红色分量XR在(x，y)位置的像素取值XR(x，y)、绿色分量XG在(x，y)位置的像素取值XG(x，y)和蓝色分量XB在(x，y)位置的像素取值XB(x，y)组成四元数变量QX(x，y)，并将彩色参考图像A的红色分量AR在(x，y)位置的像素取值AR(x，y)、绿色分量AG在(x，y)位置的像素取值AG(x，y)和蓝色分量AB在(x，y)位置的像素取值AB(x，y)组成四元数变量QA(x，y)，采用公式如下：
Figure BDA0003097700270000081
Figure BDA0003097700270000082
其中，
Figure BDA0003097700270000083
和
Figure BDA0003097700270000084
分别表示四元数的三个虚数单位；
步骤(2.3)：将四元数变量QX(x，y)组合成四元数失真图像QX，将四元数变量QA(x，y)组合成四元数参考图像QA；
步骤(2.4)：对彩色失真图像X构建的四元数失真图像QX进行四元数小波变换，分别得到低频子带(LL)和三个高频子带(LH、HL、HH)的四元数小波系数，记为
Figure BDA0003097700270000085
在每个子带上得到一个幅值ρX和三个相位，三个相位分别记为
Figure BDA0003097700270000086
φX和θX，采用公式如下：
Figure BDA0003097700270000087
Figure BDA0003097700270000088
Figure BDA0003097700270000089
Figure BDA00030977002700000810
其中，a为四元数小波系数的实部，b、c和d分别为四元数小波系数的虚部，arctan(·)为求反正切操作；
Figure BDA00030977002700000811
步骤(2.5)：对幅值ρX采用canny算子进行边缘检测，得到幅度边缘ηX；其中，canny算子的高斯半径选取为2，低阈值为30，高阈值为100；
步骤(2.6)：采用与步骤(2.4)类似的方法对彩色参考图像A构建的四元数图像QA进行四元数小波变换，分别得到低频子带(LL)和三个高频子带(LH、HL、HH)，在每个子带上得到一个幅值ρA和三个相位，分别记为
Figure BDA0003097700270000091
φA和θA；
步骤(2.7)：对幅值ρA采用canny算子进行边缘检测，得到幅度边缘ηA；其中，canny算子的高斯半径选取为2，低阈值为30，高阈值为100；
步骤(2.8)：计算彩色失真图像X和彩色参考图像A之间低频子带(LL)的一个幅度边缘相似度S1和三个相位相似度S2、S3和S4，计算公式如下：
Figure BDA0003097700270000092
Figure BDA0003097700270000093
Figure BDA0003097700270000094
Figure BDA0003097700270000095
其中，C1、C2、C3和C4为避免分母为零而设的常数；C1、C2、C3和C4取值均为0.01；
步骤(2.9)：将LL子带的一个幅度边缘相似度和三个相位相似度组合成LL低频子带相似度SLL，计算公式如下：
Figure BDA0003097700270000096
其中，α1、β1、λ1和γ1分别为S1、S2、S3和S4的指数；α1、β1、λ1和γ1取值分别为0.7、0.2、0.2和0.1；
步骤(2.10)：同样按步骤(2.8)到步骤(2.9)的方法得到LH子带相似度SLH、HL子带相似度SHL和HH子带相似度SHH；
步骤(2.11)：融合LL子带相似度SLL、LH子带相似度SLH、HL子带相似度SHL和HH子带相似度SHH得到总的四元数小波系数相似度V，采用公式如下：
V＝ω1SLL+ω2SLH+ω3SHL+ω4SHH
其中，ω1、ω2、ω3和ω4分别为加权系数；ω1、ω2、ω3和ω4取值分别为0.5、0.2、0.2和0.1；
步骤(3)：计算灰度失真图像I和灰度参考图像D之间的纹理相似度Z，具体步骤如下：
步骤(3.1)：计算得到0°、45°、90°和135°四个方向灰度共生矩阵的归一化矩阵，具体计算公式如下：
Figure BDA0003097700270000101
Figure BDA0003097700270000102
其中，p和q分别为灰度共生矩阵的横向和纵向索引，CM0(p，q)为0°方向的灰度共生矩阵，CM45(p，q)为45°方向的灰度共生矩阵，CM90(p，q)为90°方向的灰度共生矩阵，CM135(p，q)为135°方向的灰度共生矩阵，NCM0(p，q)为0°方向的归一化灰度共生矩阵，NCM45(p，q)为45°方向的归一化灰度共生矩阵，NCM90(p，q)为90°方向的归一化灰度共生矩阵，NCM135(p，q)为135°方向的归一化灰度共生矩阵；
步骤(3.2)：对四个方向的灰度共生矩阵计算二阶矩、熵、对比度和均匀度，计算方法如下：
二阶矩WMθ计算公式为：
Figure BDA0003097700270000103
其中θ＝0°，45°，90°，135°；
共生矩阵熵WEθ计算公式为：
Figure BDA0003097700270000104
其中θ＝0°，45°，90°，135°；
其中，log(·)为求取对数操作；
对比度WCθ计算公式为：
Figure BDA0003097700270000105
其中θ＝0°，45°，90°，135°；
其中，|·|为求取绝对值操作；
均匀度WHθ计算公式为：
Figure BDA0003097700270000106
其中θ＝0°，45°，90°，135°；
其中，τ为避免分母为零而设的常数；τ取值为1；|·|为求取绝对值操作；
步骤(3.3)：计算灰度失真图像I和灰度参考图像D之间的纹理相似度Z，具体公式如下：
步骤(3.3.1)：计算四个方向的灰度共生矩阵二阶矩相似度，计算公式如下：
Figure BDA0003097700270000107
其中，WMθD为灰度参考图像D的灰度共生矩阵二阶矩，WMθI为灰度失真图像I的灰度共生矩阵二阶矩，Wθ为θ方向的灰度共生矩阵二阶矩相似度，其中θ＝0°，45°，90°，135°；C5为避免分母为零而设的常数；C5取值均为0.01；
步骤(3.3.2)：将四个方向的灰度共生矩阵二阶矩相似度合成为二阶矩相似度W1，采用公式如下：
Figure BDA0003097700270000111
其中，α2、β2、λ2和γ2分别为W0、W45、W90和W135的指数；α2、β2、λ2和γ2取值分别为1、0.5、1和0.5；
步骤(3.3.3)：同样按步骤(3.3.1)到步骤(3.3.2)的方法计算共生矩阵熵相似度W2、对比度相似度W3和均匀度相似度W4；
步骤(3.3.4)：融合步骤(3.3.2)得到的二阶矩相似度W1，步骤(3.3.3)的共生矩阵熵相似度W2、对比度相似度W3和均匀度相似度W4得到总的纹理相似度Z，采用公式如下：
Z＝ω1W1+ω2W2+ω3W3+ω4W4
其中，ω1、ω2、ω3和ω4为加权系数；ω1、ω2、ω3和ω4数值取值均为0.25；
步骤(4)：计算灰度失真图像I和灰度参考图像D之间的拉伸相似度Y，具体步骤如下：
步骤(4.1)：对灰度失真图像I和灰度参考图像D分别采用Sobel算子提取出梯度信息，其中水平方向的Sobel算子公式如下：
Figure BDA0003097700270000112
步骤(4.2)：采用四个方向的Sobel算子分别对输入灰度失真图像I和灰度参考图像D进行滤波，计算公式表示如下：
Figure BDA0003097700270000113
Figure BDA0003097700270000114
其中
Figure BDA0003097700270000115
表示二维卷积运算，S0分别是灰度参考图像D经过水平方向的Sobel算子P0卷积滤波后得到的图像，T0分别是参考图像D经过水平方向的Sobel算子P0卷积滤波后得到的图像；
Figure BDA0003097700270000116
Figure BDA0003097700270000117
Figure BDA0003097700270000121
Figure BDA0003097700270000122
Figure BDA0003097700270000123
Figure BDA0003097700270000124
Figure BDA0003097700270000125
Figure BDA0003097700270000126
其中，μD1为灰度参考图像D的左拉伸区域的梯度均值，μI1为灰度失真图像I的左拉伸区域的梯度均值，μD2为灰度参考图像D的右拉伸区域的梯度均值，μI2为灰度失真图像I的右拉伸区域的梯度均值；σD1为灰度参考图像D的左拉伸区域的梯度标准差，σI1为灰度失真图像I的左拉伸区域的梯度标准差，σD2为灰度参考图像D的右拉伸区域的梯度标准差，σI2为灰度失真图像I的右拉伸区域的梯度标准差；m为灰度失真图像I或灰度参考图像D的纵向索引，l为灰度失真图像I或灰度参考图像D的横向索引；M为灰度失真图像I或灰度参考图像D的高度，L为图像中左拉伸区域和右拉伸区域的宽度；L取值为20；
步骤(4.3)：计算灰度失真图像I和灰度参考图像D之间的拉伸相似度Y，计算公式如下：
Figure BDA0003097700270000127
Figure BDA0003097700270000128
Y＝Y1×Y2
其中，Y1是左拉伸区域的拉伸相似度，Y2是右拉伸区域的拉伸相似度，Y是灰度失真图像I和灰度参考图像D之间的拉伸相似度，C6为避免分母为零而设的常数；C7为避免分母为零而设的常数；C6取值均为0.01；C7取值均为0.01；
步骤(5)：融合步骤步骤(2)的四元数小波系数相似度V、步骤(3)的的纹理相似度Z和步骤(4)的拉伸相似度Y，得到总的图像质量评价准则K，计算公式如下：
Figure BDA0003097700270000129
其中，α3、β3和λ3分别为V、Z和Y的指数；α3、β3和λ3取值分别为1、0.5和1。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims (8)

1.基于四元数小波变换的全参考3D合成图像质量评价方法，其特征在于，包括：
步骤(1)：从输入3D合成图像失真图像集中输入彩色失真图像和彩色参考图像，将彩色失真图像转换为灰度失真图像I，将彩色参考图像转换为灰度参考图像D；
步骤(2)：计算彩色失真图像X和彩色参考图像A之间的四元数小波系数相似度V，具体步骤如下：
步骤(2.1)：对彩色失真图像X，将其分解为红色分量XR、绿色分量XG和蓝色分量XB；对彩色参考图像A，将其分解为红色分量AR、绿色分量AG和蓝色分量AB；
步骤(2.2)：将彩色失真图像X的红色分量XR在(x，y)位置的像素取值XR(x，y)、绿色分量XG在(x，y)位置的像素取值XG(x，y)和蓝色分量XB在(x，y)位置的像素取值XB(x，y)组成四元数变量QX(x，y)，并将彩色参考图像A的红色分量AR在(x，y)位置的像素取值AR(x，y)、绿色分量AG在(x，y)位置的像素取值AG(x，y)和蓝色分量AB在(x，y)位置的像素取值AB(x，y)组成四元数变量QA(x，y)，采用公式如下：
Figure FDA0003097700260000011
Figure FDA0003097700260000012
其中，
Figure FDA0003097700260000013
和
Figure FDA0003097700260000014
分别表示四元数的三个虚数单位；
步骤(2.3)：将四元数变量QX(x，y)组合成四元数失真图像QX，将四元数变量QA(x，y)组合成四元数参考图像QA；
步骤(2.4)：对彩色失真图像X构建的四元数失真图像QX进行四元数小波变换，分别得到低频子带(LL)和三个高频子带(LH、HL、HH)的四元数小波系数，记为
Figure FDA0003097700260000015
在每个子带上得到一个幅值ρX和三个相位，三个相位分别记为
Figure FDA0003097700260000016
φX和θX，采用公式如下：
Figure FDA0003097700260000017
Figure FDA0003097700260000018
Figure FDA0003097700260000019
Figure FDA00030977002600000110
其中，a为四元数小波系数的实部，b、c和d分别为四元数小波系数的虚部，arctan(·)为求反正切操作；
Figure FDA00030977002600000111
步骤(2.5)：对幅值ρX采用canny算子进行边缘检测，得到幅度边缘ηX；
步骤(2.6)：采用与步骤(2.4)类似的方法对彩色参考图像A构建的四元数图像QA进行四元数小波变换，分别得到低频子带(LL)和三个高频子带(LH、HL、HH)，在每个子带上得到一个幅值ρA和三个相位，分别记为
Figure FDA0003097700260000021
φA和θA；
步骤(2.7)：对幅值ρA采用canny算子进行边缘检测，得到幅度边缘ηA；
步骤(2.8)：计算彩色失真图像X和彩色参考图像A之间低频子带(LL)的一个幅度边缘相似度S1和三个相位相似度S2、S3和S4，计算公式如下：
Figure FDA0003097700260000022
Figure FDA0003097700260000023
Figure FDA0003097700260000024
Figure FDA0003097700260000025
其中，C1、C2、C3和C4为避免分母为零而设的常数；
步骤(2.9)：将LL子带的一个幅度边缘相似度和三个相位相似度组合成LL低频子带相似度SLL，计算公式如下：
Figure FDA0003097700260000026
其中，α1、β1、λ1和γ1分别为S1、S2、S3和S4的指数；
步骤(2.10)：同样按步骤(2.8)到步骤(2.9)的方法得到LH子带相似度SLH、HL子带相似度SHL和HH子带相似度SHH；
步骤(2.11)：融合LL子带相似度SLL、LH子带相似度SLH、HL子带相似度SHL和HH子带相似度SHH得到总的四元数小波系数相似度V，采用公式如下：
V＝ω1SLL+ω2SLH+ω3SHL+ω4SHH
其中，ω1、ω2、ω3和ω4分别为加权系数；
步骤(3)：计算灰度失真图像I和灰度参考图像D之间的纹理相似度Z，具体步骤如下：
步骤(3.1)：计算得到0°、45°、90°和135°四个方向灰度共生矩阵的归一化矩阵，具体计算公式如下：
Figure FDA0003097700260000027
Figure FDA0003097700260000031
其中，p和q分别为灰度共生矩阵的横向和纵向索引，CM0(p，q)为0°方向的灰度共生矩阵，CM45(p，q)为45°方向的灰度共生矩阵，CM90(p，q)为90°方向的灰度共生矩阵，CM135(p，q)为135°方向的灰度共生矩阵，NCM0(p，q)为0°方向的归一化灰度共生矩阵，NCM45(p，q)为45°方向的归一化灰度共生矩阵，NCM90(p，q)为90°方向的归一化灰度共生矩阵，NCM135(p，q)为135°方向的归一化灰度共生矩阵；
步骤(3.2)：对四个方向的灰度共生矩阵计算二阶矩、熵、对比度和均匀度，计算方法如下：
二阶矩WMθ计算公式为：
Figure FDA0003097700260000032
其中θ＝0°，45°，90°，135°；
共生矩阵熵WEθ计算公式为：
Figure FDA0003097700260000033
其中θ＝0°，45°，90°，135°；
其中，log(·)为求取对数操作；
对比度WCθ计算公式为：
Figure FDA0003097700260000034
其中θ＝0°，45°，90°，135°；
其中，|·|为求取绝对值操作；
均匀度WHθ计算公式为：
Figure FDA0003097700260000035
其中θ＝0°，45°，90°，135°；
其中，τ为避免分母为零而设的常数；|·|为求取绝对值操作；
步骤(3.3)：计算灰度失真图像I和灰度参考图像D之间的纹理相似度Z，具体公式如下：
步骤(3.3.1)：计算四个方向的灰度共生矩阵二阶矩相似度，计算公式如下：
Figure FDA0003097700260000036
其中，WMθD为灰度参考图像D的灰度共生矩阵二阶矩，WMθI为灰度失真图像I的灰度共生矩阵二阶矩，Wθ为θ方向的灰度共生矩阵二阶矩相似度，其中θ＝0°，45°，90°，135°，C5为避免分母为零而设的常数；
步骤(3.3.2)：将四个方向的灰度共生矩阵二阶矩相似度合成为二阶矩相似度W1，采用公式如下：
Figure FDA0003097700260000041
其中，α2、β2、λ2和γ2分别为W0、W45、W90和W135的指数；
步骤(3.3.3)：同样按步骤(3.3.1)到步骤(3.3.2)的方法计算共生矩阵熵相似度W2、对比度相似度W3和均匀度相似度W4；
步骤(3.3.4)：融合步骤(3.3.2)得到的二阶矩相似度W1，步骤(3.3.3)的共生矩阵熵相似度W2、对比度相似度W3和均匀度相似度W4得到总的纹理相似度Z，采用公式如下：
Z＝ω1W1+ω2W2+ω3W3+ω4W4
其中，ω1、ω2、ω3和ω4为加权系数；
步骤(4)：计算灰度失真图像I和灰度参考图像D之间的拉伸相似度Y，具体步骤如下：
步骤(4.1)：对灰度失真图像I和灰度参考图像D分别采用Sobel算子提取出梯度信息，其中水平方向的Sobel算子公式如下：
Figure FDA0003097700260000042
步骤(4.2)：采用四个方向的Sobel算子分别对输入灰度失真图像I和灰度参考图像D进行滤波，计算公式表示如下：
Figure FDA0003097700260000043
Figure FDA0003097700260000044
其中
Figure FDA0003097700260000045
表示二维卷积运算，S0分别是灰度参考图像D经过水平方向的Sobel算子P0卷积滤波后得到的图像，T0分别是参考图像D经过水平方向的Sobel算子P0卷积滤波后得到的图像；
Figure FDA0003097700260000046
Figure FDA0003097700260000047
Figure FDA0003097700260000048
Figure FDA0003097700260000049
Figure FDA00030977002600000410
Figure FDA0003097700260000051
Figure FDA0003097700260000052
Figure FDA0003097700260000053
其中，μD1为灰度参考图像D的左拉伸区域的梯度均值，μI1为灰度失真图像I的左拉伸区域的梯度均值，μD2为灰度参考图像D的右拉伸区域的梯度均值，μI2为灰度失真图像I的右拉伸区域的梯度均值；σD1为灰度参考图像D的左拉伸区域的梯度标准差，σI1为灰度失真图像I的左拉伸区域的梯度标准差，σD2为灰度参考图像D的右拉伸区域的梯度标准差，σI2为灰度失真图像I的右拉伸区域的梯度标准差；m为灰度失真图像I或灰度参考图像D的纵向索引，l为灰度失真图像I或灰度参考图像D的横向索引；M为灰度失真图像I或灰度参考图像D的高度，L为图像中左拉伸区域和右拉伸区域的宽度；
步骤(4.3)：计算灰度失真图像I和灰度参考图像D之间的拉伸相似度Y，计算公式如下：
Figure FDA0003097700260000054
Figure FDA0003097700260000055
Y＝Y1×Y2
其中，Y1是左拉伸区域的拉伸相似度，Y2是右拉伸区域的拉伸相似度，Y是灰度失真图像I和灰度参考图像D之间的拉伸相似度，C6为避免分母为零而设的常数；C7为避免分母为零而设的常数；
步骤(5)：融合步骤步骤(2)的四元数小波系数相似度V、步骤(3)的的纹理相似度Z和步骤(4)的拉伸相似度Y，得到总的图像质量评价准则K，得到总的图像质量评价准则K，计算公式如下：
Figure FDA0003097700260000056
其中，α3、β3和λ3分别为S1、S2和Y的指数。
2.根据权利要求1所述的基于四元数小波变换的全参考3D合成图像质量评价方法，其特征在于，所述C1、C2、C3、C4、C5、C6和C7取值均为0.01。
3.根据权利要求1所述的基于四元数小波变换的全参考3D合成图像质量评价方法，其特征在于，所述ω1、ω2、ω3和ω4取值分别为0.5、0.2、0.2和0.1。
4.根据权利要求1所述的基于四元数小波变换的全参考3D合成图像质量评价方法，其特征在于，所述α1取值为0.7，β1取值为0.2，λ1取值为0.2，γ1取值为0.1。
5.根据权利要求1所述的基于四元数小波变换的全参考3D合成图像质量评价方法，其特征在于，所述α2取值为1，β2取值为0.5，λ2取值为1，γ2取值为0.5。
6.根据权利要求1所述的基于四元数小波变换的全参考3D合成图像质量评价方法，其特征在于，所述α3取值为1，β3取值为0.5，λ3取值为1。
7.根据权利要求1所述的基于四元数小波变换的全参考3D合成图像质量评价方法，其特征在于，所述L取值均为20。
8.根据权利要求1所述的基于四元数小波变换的全参考3D合成图像质量评价方法，其特征在于，所述τ取值均为1。
CN202110614969.8A 2021-06-02 2021-06-02 基于四元数小波变换的全参考3d合成图像质量评价方法 Withdrawn CN113298891A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110614969.8A CN113298891A (zh) 2021-06-02 2021-06-02 基于四元数小波变换的全参考3d合成图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110614969.8A CN113298891A (zh) 2021-06-02 2021-06-02 基于四元数小波变换的全参考3d合成图像质量评价方法

Publications (1)

Publication Number Publication Date
CN113298891A true CN113298891A (zh) 2021-08-24

Family

ID=77327070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110614969.8A Withdrawn CN113298891A (zh) 2021-06-02 2021-06-02 基于四元数小波变换的全参考3d合成图像质量评价方法

Country Status (1)

Country Link
CN (1) CN113298891A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563210A (zh) * 2023-03-21 2023-08-08 安徽中新云谷数字技术有限公司 一种虚拟现实图像质量评价方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563210A (zh) * 2023-03-21 2023-08-08 安徽中新云谷数字技术有限公司 一种虚拟现实图像质量评价方法及系统
CN116563210B (zh) * 2023-03-21 2023-12-08 安徽中新云谷数字技术有限公司 一种虚拟现实图像质量评价方法及系统

Similar Documents

Publication Publication Date Title
CN106558022B (zh) 一种基于边缘差异约束的单幅图像超分辨率重建方法
CN109255358B (zh) 一种基于视觉显著性和深度图的3d图像质量评价方法
CN109523506B (zh) 基于视觉显著图像特征增强的全参考立体图像质量客观评价方法
Yu et al. A new edge detection approach based on image context analysis
CN102006425A (zh) 一种基于多摄像机的视频实时拼接方法
Xie et al. Single depth image super resolution and denoising via coupled dictionary learning with local constraints and shock filtering
Jia et al. Image denoising via sparse representation over grouped dictionaries with adaptive atom size
CN110751612A (zh) 多通道多尺度卷积神经网络的单幅图像去雨方法
CN109118442B (zh) 一种基于Sobel算子滤波的图像增强方法
Liu et al. Image denoising with multidirectional shrinkage in directionlet domain
CN108447059A (zh) 一种全参考光场图像质量评价方法
Bhataria et al. A review of image fusion techniques
Kang et al. Self-learning-based single image super-resolution of a highly compressed image
Chen et al. Edge preservation ratio for image sharpness assessment
CN107944497A (zh) 基于主成分分析的图像块相似性度量方法
CN113298891A (zh) 基于四元数小波变换的全参考3d合成图像质量评价方法
Zhou et al. Quality assessment of 3D synthesized images via disoccluded region discovery
CN102497576A (zh) 基于Gabor特征互信息的全参考图像质量评价方法
Yang et al. Image decomposition-based structural similarity index for image quality assessment
CN107977967B (zh) 一种面向视角合成的无参考图像质量评价方法
CN107798676B (zh) 基于多尺度自然场景统计建立的无参考图像质量感知方法
CN113256590A (zh) 一种基于Gabor自相似度特征的无参考3D合成图像质量评价方法
Liu et al. Blind image quality assessment for noise
Jacobson et al. Video processing with scale-aware saliency: application to frame rate up-conversion
Thayammal et al. Performance analysis of image denoising using deep convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210824