CN111127437A - 一种基于色彩空间分解的全参考图像质量评价方法 - Google Patents
一种基于色彩空间分解的全参考图像质量评价方法 Download PDFInfo
- Publication number
- CN111127437A CN111127437A CN201911354082.9A CN201911354082A CN111127437A CN 111127437 A CN111127437 A CN 111127437A CN 201911354082 A CN201911354082 A CN 201911354082A CN 111127437 A CN111127437 A CN 111127437A
- Authority
- CN
- China
- Prior art keywords
- color space
- chromatographic
- cube
- cuboid
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 16
- 239000013598 vector Substances 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 12
- 238000001228 spectrum Methods 0.000 claims description 10
- 230000006735 deficit Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 238000009795 derivation Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 2
- 230000008447 perception Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 241000764238 Isis Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- AEUTYOVWOVBAKS-UWVGGRQHSA-N ethambutol Natural products CC[C@@H](CO)NCCN[C@@H](CC)CO AEUTYOVWOVBAKS-UWVGGRQHSA-N 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 101150050759 outI gene Proteins 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Abstract
本发明公开一种基于色彩空间分解的全参考图像质量评价方法，利用提取原始图像和损伤图像的色度损伤特征，并同亮度损伤特征相结合，有效提取原始图像和损伤图像色度信息在色彩空间分布上的差异，可以准确地评价损伤图像的感知质量。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于色彩空间分解的全参考图像质量评价方法。
背景技术
随着多媒体时代消费者们对视频资源观看体验的要求不断提高，越来越多的机构和研究人员开始关注图像质量客观评价领域，并设计出许多全参考图像质量客观评价模型；首先，准确的客观图像质量评价模型有助于电视台播出部门、广电系统监管部门实时监测电视台播出节目的质量，保证终端用户可以观看到高质量、高清晰度的电视节目，满足人们群众日益增长的文化需求，服务于社会主义精神文明建设的战略需求；其次，客观图像质量评价模型可以自动监测在互联网、同轴电缆等信道中传输的视频及图像资源的质量，更加合理地分配传输资源，节省传输带宽，确保无线频道、光纤等具有重要战略意义的国家资源得到更加合理的利用。
全参考图像质量客观评价技术有着非常重要的研究意义和应用价值。如Z.Wang和A.C.Bovik等人设计的SSIM算法[1]通过分别提取原始图像和损伤图像的结构信息、对比度信息、以及亮度信息来衡量原始图像同损伤图像的感知质量差别；H.R.Sheikh和A.C.Bovik等人设计的VIF算法[2]将原始图像和损伤图像进行塔式金字塔分解，并在各个子带上求取两者的互信息量，最后综合得到质量估计值；W.Xue等人设计的GMSD算法[3]则是将原始图像和失真图像的梯度图进行相似度计算，然后将局部相似度的方差作为最后的质量估计值；L.Zhang等人设计的FSIM算法[4]分别比较原始图像和损伤图像的相位一致性[5]，然后利用相位一致性信息、梯度信息、颜色信息综合得到最终的质量分数；L.Zhang和Y.Shen等人设计的VSI算法[6]则利用视觉显著性对图像的梯度相似度、彩色相似度进行加权，最后综合得到质量分数。
通过分析可以看出，现有的全参考图像质量评价方法大多针对原始图像和损伤图像的亮度分量进行比较，如SSIM、VIF、GMSD等质量评价模型仅利用亮度分量进行质量评价，而FSIM、VSI等质量评价模型尽管比较了颜色分量的差别，但是这种比较方法非常简单，以FSIM质量评价模型为例，该模型将原始图像和损伤图像从RGB色彩空间转换至YIQ色彩空间，然后利用式(1)和式(2)比较原始图像和损伤图像色彩信息的差别。
其中，i代表空间位置坐标，IRef，IDst，QRef，QDst分别代表原始图像和损伤图像经YIQ色彩空间变换后的I通道、以及原始图像和损伤图像经YIQ色彩空间变换后的Q通道，SIMI(i)表示原始图像同失真图像在I通道上i位置处的色彩信息差别，SIMQ(i)表示原始图像同失真图像在Q通道上i位置处的色彩信息差别，c为常数，取c＝0.02。
这种对色彩信息的比较方法较为简单，仅把GMSD算法中梯度信息的比较方法简单应用到色度通道中，并不能有效地获取原始图像和损伤图像在色度信息上的差异。
参考文献：
[1]Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment：fromerror visibility to structural similarity[J].Image Processing，IEEETransactions on，2004，13(4)：600-612.
[2]Sheikh H R，Bovik A C.Image information and visual quality[J].ImageProcessing，IEEE Transactions on，2006，15(2)：430-444.
[3]W.Xue，L.Zhan，and X.Mou et al，“Gradient magnitude similaritydeviation：A highly efficient perceptual image quality index”.IEEE Trans.ImageProcess.，vol.23，no.2，2014，684-695.
[4]L.Zhang，L.Zhang，and X.Mou et al，“FSIM：A feature similarity indexfor image quality assessment”，IEEE trans.Image Process.，vol.20，no.8，2011，pp.2378-2386.
[5]P.Kovesi，“Image features from phase congruency，”Videre：J.Comp.Vis.Res.，vol.1，no.3，pp.1-26，1999.
[6]L.Zhang，Y.Shen，and H.Li，“VSI：A visual saliency-induced index forperceptual image quality assessment”.IEEE Trans.on Image Process.，vol.23，no.10，2014，pp.4270-4281.
发明内容
本发明提供一种基于色彩空间分解的全参考图像质量评价方法，可以有效提取原始图像和损伤图像色度信息在色彩空间分布上的差异，可以较为准确地评价损伤图像的感知质量。
为实现上述目的，本发明采用如下的技术方案：
一种基于色彩空间分解的全参考图像质量评价方法，包括以下步骤：
步骤1、分别对原始彩色图像Ref和损伤彩色图像Dst进行色彩空间变换，从RGB色彩空间转换至HSV色彩空间；
步骤2、分别对HSV色彩空间中的原始彩色图像Ref和损伤彩色图像Dst的各像素点进行色彩空间分解，分别得到两个色谱长方体CubeRef和CubeDst，同时计算CubeRef和CubeDst中对应切面的均方误差，得到颜色损伤特征；
步骤3、合并颜色损伤特征和亮度损伤特征，进而计算得到质量预测分数。
作为优选，步骤2具体包括：
步骤2.1、HSV色彩空间分解
HSV色彩空间采用一个圆锥空间模型进行描述，水平方向平面由极坐标<h，s>表示，h∈[0，2π)为角度，表示色调；s∈[0，1]为半径，表示饱和度；
对于原始彩色图像和损伤彩色图像每个像素点p′，其在HSV色度空间中的色度坐标为p′：(h＝hp，s＝sp，v＝vp)，根据色调值hp和饱和度值sp，将HSV颜色空间中的点p′映射为二维极坐标系<h，s>中的点p：(h＝hp，s＝sp)，
此时点p：(h＝hp，s＝sp)同二维极坐标系中的单位元上的任一点
的距离
可以由下式进行推导计算：
其中，θ表示由原点至点p的向量同由原点至点p0的向量之间的夹角，即
其中，abs()为取绝对值的函数。
以大小为Δ的角度间隔，计算点p同极坐标系单位圆上角度分别为(0，Δ，2Δ，3Δ...，2π-Δ)的一系列参考点(记为(p0，pΔ，p2Δ，...，p2π-Δ))的距离，从而得到长度为L的距离序列
其中，
且0.0101π＜Δ＜0.224π，
给定点p：(h＝hp，s＝sp)，得到长度为L的距离序列
利用式(5)所示的变换函数g(x)将点p到单位圆上各点(p0，pΔ，p2Δ，...，p2π-Δ)的距离映射成点p在单位圆各点上的强度
其中，λ为常数，且0.058＜λ＜0.2171，
通过上述过程可以将HSV颜色空间中的一点p′：(h＝hp，s＝sp，v＝vp)，根据其色调值hp和饱和度值sp转化为长度为
的强度序列
即将HSV颜色空间中的一点p′分解成了色谱上的一系列强度值；
步骤2.2、采用步骤2.1对HSV色彩空间中的原始彩色图像Ref和损伤彩色图像Dst的各像素点进行色彩空间分解，得到两个色谱长方体CubeRef和CubeDst，所述色谱长方体CubeRef和CubeDst的宽度和高度分别为原始彩色图像Ref和损伤彩色图像Dst的宽度和高度，所述色谱长方体CubeRef和CubeDst的深度为原始彩色图像Ref和损伤彩色图像Dst经色彩空间分解得到的强度序列
的长度；
步骤2.3、分别对色谱长方体CubeRef和CubeDst进行三维切片，得到若干色谱长方体的切面，将CubeRef三维切片得到的三种切面合并记为(SR1，SR2，...，SRM)，并将CubeDst三维切片得到的三种切面合并记为(SD1，SD2，...，SDM)
步骤2.4、分别计算CubeRef和CubeDst中对应切面的均方误差，得到颜色损伤特征Ftch＝(ft1，ft2，...，ftM)，如式(6)和式(7)所示
fti＝MSE(SRi，SDi) (6)
其中，X(：)表示将矩阵X按列转为一维列向量，T表示转置操作，WX和HX分别表示矩阵X的宽度和高度。
作为优选，步骤2.3中三维切片操作的具体方式如下：
步骤2.3.1、在宽度为(1，1+Δw，1+2Δw，...，W-Δw+1)处对色谱长方体进行切片，得到MW个大小为H×L的二维图像，分别记为
其中，W表示色谱长方体的宽度，H表示色谱长方体的高度，L表示色谱长方体的深度，Δw表示切片间隔，
为切片次数；
步骤2.3.2、在高度为(1，1+ΔH，1+2ΔH，...，H-ΔH+1)处对色谱长方体进行切片，得到MH个大小为W×L的二维图像，分别记为
其中，W表示色谱长方体的宽度，H表示色谱长方体的高度，L表示色谱长方体的深度，ΔH表示切片间隔，
为切片次数；
步骤2.3.3、在深度为(1，1+ΔL，1+2ΔL，...，L-ΔL+1)处对色谱长方体进行切片，得到ML个大小为W×H的二维图像，分别记为
其中，W表示色谱长方体的宽度，H表示色谱长方体的高度，L表示色谱长方体的深度，ΔL表示切片间隔，
为切片次数；
步骤2.3.4、将CubeRef三维切片得到的三种切面合并记为(SR1，SR2，...，SRM)，并将CubeDst三维切片得到的三种切面合并记为(SD1，SD2，...，SDM)，其中，M＝MW+MH+ML。
作为优选，利用提取的颜色损伤特征Ftch＝(ft1，ft2，...，ftM)和获得的亮度损伤特征ftlum，合并色度、亮度损伤特征Ft＝(ftlum，ft1，ft2，...，ftM)后通过如下公式得到质量预测分数：
Score＝f(f(Ft*W1+b1)*W2+b2) (8)
其中，W1是二维权重矩阵，b1是权重行向量，W2是权重列向量，b2为一维权重标量，符号*代表矩阵相乘，exp()表示针对矩阵中元素的指数运算，Score表示最终的质量预测分数。
本发明全参考图像质量评价方法，可以有效提取原始图像和损伤图像色度信息在色彩空间分布上的差异；利用提取原始图像和损伤图像的色度损伤特征，并同亮度损伤特征相结合，可以较为准确地评价损伤图像的感知质量。
附图说明
图1为HSV色彩空间示意图；
图2为色彩空间分解过程的示意图；
图3为dΔ计算示意图；
图4为色彩空间分解示意图。
具体实施方式
本发明提供一种基于色彩空间分解的全参考图像质量评价方法，包括以下步骤：
步骤1、预处理
1.1、将待评价的原始彩色图像Ref和损伤彩色图像Dst以RGB格式读取至计算机内存；
1.2、分别对原始彩色图像Ref和损伤彩色图像Dst进行色彩空间变换，从RGB色彩空间转换至HSV色彩空间，具体参见文献[7]：Sural S，Qian G，Pramanik S.Segmentationand histogram generation using the HSV color space for image retrieval[C]//Proceedings.International Conference on Image Processing.IEEE，2002，2：II-II.。
步骤2、色彩空间分解
本发明所涉及的色彩空间分解主要针对HSV色彩空间，因此对HSV色彩空间进行简单介绍如下：如图1所示，所述HSV色彩空间采用一个圆锥空间模型进行描述，水平方向平面由极坐标<h，s>表示，h∈[0，2π)为角度，表示色调；s∈[0，1]为半径，表示饱和度，垂直于该极坐标平面的方向用v表示，表示亮度。
具体处理过程如下：
建立二维极坐标系<h，s>，其中，h∈[0，2π)为角度，表示色调；s∈[0，1]为半径，表示饱和度。对于原始图像和失真图像每个像素点p′在HSV色度空间中的色度坐标(hp，sp，vp)，根据色调值hp和饱和度值sp，将点p′映射为二维极坐标系<h，s>中的点p：(h＝hp，s＝sp)，该映射过程去除了亮度信息vp对颜色空间分解过程的影响，
此时点p：(h＝hp，s＝sp)同二维极坐标系中的单位元上的任一点
的距离
可以由下式进行推导计算：
其中，θ表示由原点至点p的向量同由原点至点p0的向量之间的夹角，即
其中，abs()为取绝对值的函数。
以大小为Δ的角度间隔，计算点p同极坐标系单位圆上角度分别为(0，Δ，2Δ，3Δ...，2π-Δ)的一系列参考点(记为(p0，pΔ，p2Δ，...，p2π-Δ))的距离，从而得到长度为L的距离序列
其中，
如图2所示。
给定点p：(h＝hp，s＝sp)，可以得到长度为L的距离序列
利用式(5)所示的变换函数g(x)将点p到单位圆上各参考点(p0，pΔ，p2Δ，...，p2π-Δ)的距离映射成点p在单位圆各点上的强度
其中，λ为常数。
若极坐标系中的一点位于单位元上，则其半径为1，也就是饱和度为最大值，因此单位圆上的点为纯色点。本发明通过上述过程可以将HSV颜色空间中的一点p′：(h＝hp，s＝sp，v＝vp)，根据其色调值hp和饱和度值sp转化为长度为
的强度序列
序列中的各元素表示不同色调的纯色在点p′中占有的成分。也就是说上述处理过程将HSV颜色空间中的一点p′根据其色度信息分解成了色谱上的一系列强度值。本发明将该过程称为色彩空间分解。
为了保证合理性和实用性，色彩空间分解应仔细选取参数λ以及Δ从而满足以下条件：
1.分解结果合理，即给定HSV颜色空间中一点p′：(h＝hp，s＝sp，v＝vp)，其转化为强度序列后，若单位圆上某一参考点piΔ同点p的色调明显不同，则强度序列在第i个元素处的值应足够小。根据参考文献[7]，当HSV空间中两饱和度均为1、具有不同的色调的颜色点的夹角大于60°时，其表示的色调会有明显差异，此时两颜色点的距离为1，因此为保证分解结果合理，应使
足够小，考虑到强度值的动态范围为[0，1]，本发明设置阈值为0.01，即
可得λ＜0.2171；另一方面，观察图1所示的HSV颜色空间可发现，当HSV空间中两饱和度均为1、具有不同的色调的颜色点的夹角小于30°时，其表示的色调差别较小，此时两颜色点的距离为
因此为保证分解结果合理，应使
足够大，即
可得λ＞0.058。
2)分解过程可逆，即若HSV颜色空间中一点p′：(h＝hp，s＝sp，v＝vp)可通过颜色空间分解生成强度序列
则也可以通过强度序列较为准确地估计点p的色调值hp和饱和度值sp。为满足分解过程的可逆性，应保证强度序列
中最大强度值及其相邻的两个强度值足够大，且最大强度值同次大强度值的差别足够明显。为简化计算过程，假设HSV颜色空间中点p′被映射为二维极坐标系中的点p：(h＝hp，s＝sp)，且p同某一参考点piΔ重合，此时最大强度至在第i个元素处取得，
次大强度值在第i+1和第i-1个元素处取得，
设置阈值为0.01，为保证最大及次大强度值足够大，应满足
为保证最大强度值同次大强度值的差别足够明显，应满足
因此可近似得到：0.0101π＜Δ＜0.224π。
步骤3、颜色损伤特征提取
步骤3.1、分别对HSV色彩空间中的原始图像Ref和损伤图像Dst的各像素点进行色彩空间分解，分别得到两个色谱长方体CubeRef和CubeDst，色谱长方体是宽度和高度与原始图像相同，深度等于强度序列
的长度，即
的三维离散点集合。色谱长方体高度为h，宽度为w，深度为l处点的值对应于输入图像高度为h，宽度为w处的像素点经过色彩空间分解得到的强度序列中第l个元素的值，如图4所示。
步骤3.2、分别对色谱长方体CubeRef和CubeDst进行三维切片，得到若干色谱长方体的切面。三维切片操作的具体方式如下：
步骤3.2.1、在宽度为(1，1+Δw，1+2Δw，...，W-Δw+1)处对色谱长方体进行切片，得到MW个大小为H×L的二维图像，分别记为
其中，W表示色谱长方体的宽度，H表示色谱长方体的高度，L表示色谱长方体的深度，Δw表示切片间隔，
为切片次数；
步骤3.2.2、在高度为(1，1+ΔH，1+2ΔH，...，H-ΔH+1)处对色谱长方体进行切片，得到MH个大小为W×L的二维图像，分别记为
其中，W表示色谱长方体的宽度，H表示色谱长方体的高度，L表示色谱长方体的深度，ΔH表示切片间隔，
为切片次数；
步骤3.2.3、在深度为(1，1+ΔL，1+2ΔL，...，L-ΔL+1)处对色谱长方体进行切片，得到ML个大小为W×H的二维图像，分别记为
其中，W表示色谱长方体的宽度，H表示色谱长方体的高度，L表示色谱长方体的深度，ΔL表示切片间隔，
为切片次数；
步骤3.2.4、将CubeRef三维切片得到的三种切面合并记为(SR1，SR2，...，SRM)，并将CubeDst三维切片得到的三种切面合并记为(SD1，SD2，...，SDM)，其中，M＝MW+MH+ML。
步骤3.3、分别计算CubeRef和CubeDst中对应切面的均方误差，得到颜色损伤特征Ftch＝(ft1，ft2，...，ftM)，如式(6)和式(7)所示
fti＝MSE(SRi，SDi) (6)
其中，X(：)表示将矩阵X按列转为一维列向量，T表示转置操作，WX和HX分别表示的宽度和高度。
步骤4、质量分数估计
利用步骤3提取颜色损伤特征Ftch＝(ft1，ft2，...，ftM)，利用A.C.Bovik等人设计的SSIM算法(参见文献[1])提取一维亮度损伤特征ftlum，合并色度、亮度损伤特征Ft＝(ftlum，ft1，ft2，...，ftM)后通过如下公式得到质量预测分数：
Score＝f(f(Ft*W1+b1)*W2+b2) (8)
其中，W1是二维权重矩阵，b1是权重行向量，W2是权重列向量，b2为一维权重标量，符号*代表矩阵相乘，exp()表示针对矩阵中元素的指数运算，Score表示最终的质量预测分数。
实施例1：
本发明可以通过Matlab、C++、Python等不同的计算机语言进行实现，以Matlab为例，本发明的具体实施方式如下：
步骤1：预处理
步骤1.1：利用matlab自带的imread函数将给定路径的原始图像和损伤图像分别读入计算机内存，并分别记为Ref和Dst；
步骤1.2：利用matlab自带的RGB至HSV色彩空间转换函数分别将Ref和Dst转换至HSV色彩空间，并分别记为RefHSV和DstHSV；
步骤2：颜色空间分解
步骤2.1：设计距离计算函数
距离计算函数用于计算二维极坐标系<h，s>中单位圆内的任意点p＝(hp，sp)同单位圆上角度为
的参考点之间的距离。计算方式可由式(3)得到，即
θ为原点至p的向量同原点至参考点的向量之间的夹角，计算公式见式(4)。
步骤2.2：设计变换函数f＝g(x)。变换函数的计算公式见式(5)，为满足合理性和可用性，角度间隔Δ取
λ取0.1。
步骤2.3：设计色彩空间分解函数Cube＝decompch(img)。色彩空间函数的输入为一副二维图像img(HSV色度格式，高度为H，宽度为W)，输出为色谱长方体，色谱立方体的高度为H，宽度为W，深度为
色彩空间分解函数的具体实现方法如下：
步骤2.3.1：遍历二维图像img中的所有像素点
步骤2.3.2：对每个像素点，根据其在HSV色彩空间中的色调h和饱和度s，利用距离计算函数getdist分别计算该点同圆上角度分别为(0，Δ，2Δ，3Δ...，2π-Δ)的一系列参考点的距离，其中
步骤2.3.3：对每个像素点返回的各距离值，利用变换函数g(x)分别将其变换成强度值。
步骤2.3.4：每个像素点返回一个长度L＝60的距离序列，因此遍历整个输入图像img后，返回一个高度为H，宽度为W，深度为L的色谱长方体。
步骤3：提取颜色损伤特征
步骤3.1：利用色彩空间分解函数decompch将HSV格式的原始图像和损伤图像分别分解为两个色谱长方体CubeRef和CubeDst；
步骤3.2：在宽度为(1，1+Δw，1+2Δw，...，W-Δw+1)处对色谱长方体进行切片，切片操作可以通过matlab元素截取再结合squeeze函数的方法实现，以对CubeRef宽度为1处进行切片为例，可通过以下代码得到：Slice＝squeeze(CubeRef(：，1，：))，其中，Slice表示切片后高度为H，深度为L＝60的二维切面，squeeze函数为matlab自带函数，可以删除长度为1的维度，方面后续处理。本实现中水平切面的个数MW＝6；因此
如果输入图像宽度不能被6整除，需要在图像右侧填充若干像素值均为0的列。
步骤3.3：在高度为(1，1+ΔH，1+2ΔH，...，H-ΔH+1)处对色谱长方体进行切片，切片操作可以通过matlab元素截取再结合squeeze函数的方法实现，以对CubeRef高度为1处进行切片为例，可通过以下代码得到：Slice＝squeeze(CubeRef(1，：，：))，其中，Slice表示切片后宽度为W，深度为L＝60的二维切面。本实现中水平切面的个数MH＝6；因此
如果输入图像宽度不能被6整除，需要在图像下方填充若干像素值均为0的行。
步骤3.4：在深度为(1，1+ΔL，1+2ΔL，...，L-ΔL+1)处对色谱长方体进行切片，切片操作可以通过matlab元素截取再结合squeeze函数的方法实现，以对CubeRef深度为1处进行切片为例，可通过以下代码得到：Slice＝squeeze(CubeRef(：，：，1))，其中，Slice表示切片后宽度为W，高度为H的二维切面。本实现中水平切面的个数ML＝6，L＝60；因此
步骤3.5：遍历CubeRef通过三维切片得到的所有切面，对每一个切面，找到CubeDst中对应位置的切面，计算两者的均方误差MSE，计算方式见式(7)。提取各切面MSE值，组成颜色损伤特征Ftch＝(ft1，ft2，...，ftM)，fti表示CubeRef第i个切面和CubeDst第i个切面之间的MSE值。
步骤4：质量分数估计
步骤4.1：利用matlab自带的ssim函数计算原始图像同损伤图像的SSIM分值，将其作为亮度特征ftlum，合并色度、亮度损伤特征Ft＝(ftlum，ft1，ft2，...，ftM)后通过如下公式(8)和(9)得到质量预测分数。
由于颜色损伤特征Ftch的维度为18，所以合并色度、亮度损伤特征后的特征Ft是维度为19的行向量，W1是维度为19x10的二维权重矩阵，b1是维度为10的权重行向量，W2是维度为10的权重列向量，b2为一维权重标量。
其中，W1，b1，W2，b2的取值如下：
W1是维度为19x10的二维矩阵，具体取值为：
b1是维度为10的行向量，具体取值为：
1.379 0.684 -0.783 -1.052 0.106 -0.634 0.757 -0.901 4.268 1.682
W2是维度为10的列向量，具体取值为：
-1.339
-0.297
0.325
0.412
2.290
-3.559
-3.786
0.306
-0.189
-0.314
b2是一维标量，具体取值为：
0.646
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (4)
1.一种基于色彩空间分解的全参考图像质量评价方法，其特征在于，包括以下步骤：
步骤1、分别对原始彩色图像Ref和损伤彩色图像Dst进行色彩空间变换，从RGB色彩空间转换至HSV色彩空间；
步骤2、分别对HSV色彩空间中的原始彩色图像Ref和损伤彩色图像Dst的各像素点进行色彩空间分解，分别得到两个色谱长方体CubeRef和CubeDst，同时计算CubeRef和CubeDst中对应切面的均方误差，得到颜色损伤特征；
步骤3、合并颜色损伤特征和亮度损伤特征，进而计算得到质量预测分数。
2.如权利要求1所述的基于色彩空间分解的全参考图像质量评价方法，其特征在于，步骤2具体包括：
步骤2.1、HSV色彩空间分解
HSV色彩空间采用一个圆锥空间模型进行描述，水平方向平面由极坐标<h，s>表示，h∈[0，2π)为角度，表示色调；s∈[0，1]为半径，表示饱和度；
对于原始彩色图像和损伤彩色图像每个像素点p′，其在HSV色度空间中的色度坐标为p′：(h＝hp，s＝sp，v＝vp)，根据色调值hp和饱和度值sp，将HSV颜色空间中的点p′映射为二维极坐标系<h，s>中的点p：(h＝hp，s＝sp)，
此时点p：(h＝hp，s＝sp)同二维极坐标系中的单位元上的任一点
的距离
可以由下式进行推导计算：
其中，θ表示由原点至点p的向量同由原点至点p0的向量之间的夹角，即
其中，abs()为取绝对值的函数。
以大小为Δ的角度间隔，计算点p同极坐标系单位圆上角度分别为(0，Δ，2Δ，3Δ...，2π-Δ)的一系列参考点(记为(p0，pΔ，p2Δ，...，p2π-Δ))的距离，从而得到长度为L的距离序列
其中，
且0.0101π＜Δ＜0.224π，
给定点p：(h＝hp，s＝sp)，得到长度为L的距离序列
利用式(5)所示的变换函数g(x)将点p到单位圆上各点(p0，pΔ，p2Δ，...，p2π-Δ)的距离映射成点p在单位圆各点上的强度
其中，λ为常数，且0.058＜λ＜0.2171，
通过上述过程可以将HSV颜色空间中的一点p′：(h＝hp，s＝sp，v＝vp)，根据其色调值hp和饱和度值sp转化为长度为
的强度序列
即将HSV颜色空间中的一点p′分解成了色谱上的一系列强度值；
步骤2.2、采用步骤2.1对HSV色彩空间中的原始彩色图像Ref和损伤彩色图像Dst的各像素点进行色彩空间分解，得到两个色谱长方体CubeRef和CubeDst，所述色谱长方体CubeRef和CubeDst的宽度和高度分别为原始彩色图像Ref和损伤彩色图像Dst的宽度和高度，所述色谱长方体CubeRef和CubeDst的深度为原始彩色图像Ref和损伤彩色图像Dst经色彩空间分解得到的强度序列
的长度；
步骤2.3、分别对色谱长方体CubeRef和CubeDst进行三维切片，得到若干色谱长方体的切面，将CubeRef三维切片得到的三种切面合并记为(SR1，SR2，...，SRM)，并将CubeDst三维切片得到的三种切面合并记为(SD1，SD2，...，SDM)
步骤2.4、分别计算CubeRef和CubeDst中对应切面的均方误差，得到颜色损伤特征Ftch＝(ft1，ft2，...，ftM)，如式(6)和式(7)所示
fti＝MSE(SRi，SDi) (6)
其中，X(：)表示将矩阵X按列转为一维列向量，T表示转置操作，WX和HX分别表示矩阵X的宽度和高度。
3.如权利要求2所述的基于色彩空间分解的全参考图像质量评价方法，其特征在于，步骤2.3中三维切片操作的具体方式如下：
步骤2.3.1、在宽度为(1，1+Δw，1+2Δw，...，W-Δw+1)处对色谱长方体进行切片，得到MW个大小为H×L的二维图像，分别记为
其中，W表示色谱长方体的宽度，H表示色谱长方体的高度，L表示色谱长方体的深度，Δw表示切片间隔，
为切片次数；
步骤2.3.2、在高度为(1，1+ΔH，1+2ΔH，...，H-ΔH+1)处对色谱长方体进行切片，得到MH个大小为W×L的二维图像，分别记为
其中，W表示色谱长方体的宽度，H表示色谱长方体的高度，L表示色谱长方体的深度，ΔH表示切片间隔，
为切片次数；
步骤2.3.3、在深度为(1，1+ΔL，1+2ΔL，...，L-ΔL+1)处对色谱长方体进行切片，得到ML个大小为W×H的二维图像，分别记为
其中，W表示色谱长方体的宽度，H表示色谱长方体的高度，L表示色谱长方体的深度，ΔL表示切片间隔，
为切片次数；
步骤2.3.4、将CubeRef三维切片得到的三种切面合并记为(SR1，SR2，...，SRM)，并将CubeDst三维切片得到的三种切面合并记为(SD1，SD2，...，SDM)，其中，M＝MW+MH+ML。
4.如权利要求3所述的基于色彩空间分解的全参考图像质量评价方法，其特征在于，利用提取的颜色损伤特征Ftch＝(ft1，ft2，...，ftM)和获得的亮度损伤特征ftlum，合并色度、亮度损伤特征Ft＝(ftlum，ft1，ft2，...，ftM)后通过如下公式得到质量预测分数：
Score＝f(f(Ft*W1+b1)*W2+b2) (8)
其中，W1是二维权重矩阵，b1是权重行向量，W2是权重列向量，b2为一维权重标量，符号*代表矩阵相乘，exp()表示针对矩阵中元素的指数运算，Score表示最终的质量预测分数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911354082.9A CN111127437A (zh) | 2019-12-25 | 2019-12-25 | 一种基于色彩空间分解的全参考图像质量评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911354082.9A CN111127437A (zh) | 2019-12-25 | 2019-12-25 | 一种基于色彩空间分解的全参考图像质量评价方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111127437A true CN111127437A (zh) | 2020-05-08 |
Family
ID=70502871
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911354082.9A Pending CN111127437A (zh) | 2019-12-25 | 2019-12-25 | 一种基于色彩空间分解的全参考图像质量评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111127437A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115880297A (zh) * | 2023-03-01 | 2023-03-31 | 深圳市富安娜艺术家居有限公司 | 基于机器视觉的被套染色质量评估方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080002138A (ko) * | 2006-06-30 | 2008-01-04 | (주)에이엠씨텍 | 멀티미디어 서비스 품질 측정 방법 및 시스템 |
| CN101282481A (zh) * | 2008-05-09 | 2008-10-08 | 中国传媒大学 | 一种基于人工神经网络的视频质量评价方法 |
| JP2012004840A (ja) * | 2010-06-16 | 2012-01-05 | Nippon Telegr & Teleph Corp <Ntt> | 映像品質客観評価装置及び方法及びプログラム |
| CN103077514A (zh) * | 2012-12-17 | 2013-05-01 | 西南科技大学 | 一种基于全变分的视觉感知图像质量评价方法 |
| CN106558047A (zh) * | 2016-11-10 | 2017-04-05 | 复旦大学 | 基于互补色小波的彩色图像质量评价方法 |
| CN106683082A (zh) * | 2016-12-19 | 2017-05-17 | 华中科技大学 | 一种基于四元数的全参考彩色图像质量评价方法 |
| CN107705286A (zh) * | 2017-08-23 | 2018-02-16 | 南京航空航天大学 | 一种彩色图像质量综合评价方法 |
-
2019
- 2019-12-25 CN CN201911354082.9A patent/CN111127437A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080002138A (ko) * | 2006-06-30 | 2008-01-04 | (주)에이엠씨텍 | 멀티미디어 서비스 품질 측정 방법 및 시스템 |
| CN101282481A (zh) * | 2008-05-09 | 2008-10-08 | 中国传媒大学 | 一种基于人工神经网络的视频质量评价方法 |
| JP2012004840A (ja) * | 2010-06-16 | 2012-01-05 | Nippon Telegr & Teleph Corp <Ntt> | 映像品質客観評価装置及び方法及びプログラム |
| CN103077514A (zh) * | 2012-12-17 | 2013-05-01 | 西南科技大学 | 一种基于全变分的视觉感知图像质量评价方法 |
| CN106558047A (zh) * | 2016-11-10 | 2017-04-05 | 复旦大学 | 基于互补色小波的彩色图像质量评价方法 |
| CN106683082A (zh) * | 2016-12-19 | 2017-05-17 | 华中科技大学 | 一种基于四元数的全参考彩色图像质量评价方法 |
| CN107705286A (zh) * | 2017-08-23 | 2018-02-16 | 南京航空航天大学 | 一种彩色图像质量综合评价方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115880297A (zh) * | 2023-03-01 | 2023-03-31 | 深圳市富安娜艺术家居有限公司 | 基于机器视觉的被套染色质量评估方法 |
| CN115880297B (zh) * | 2023-03-01 | 2023-05-05 | 深圳市富安娜艺术家居有限公司 | 基于机器视觉的被套染色质量评估方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Plataniotis et al. | Color image processing and applications | |
| CN108830823B (zh) | 基于空域结合频域分析的全参考型图像质量评价方法 | |
| CN111489346B (zh) | 一种全参考图像质量评价方法及系统 | |
| Cui et al. | Blind light field image quality assessment by analyzing angular-spatial characteristics | |
| Seo et al. | Novel PCA-based color-to-gray image conversion | |
| CN101115131A (zh) | 基于像素空间相关性的图像融合效果实时评价方法及装置 | |
| CN108961227A (zh) | 一种基于空域和变换域多特征融合的图像质量评价方法 | |
| CN106683082A (zh) | 一种基于四元数的全参考彩色图像质量评价方法 | |
| CN111127437A (zh) | 一种基于色彩空间分解的全参考图像质量评价方法 | |
| US9189703B2 (en) | Systems and methods for colorimetric and spectral material estimation | |
| CN108682005B (zh) | 基于协方差矩阵特征的半参考3d合成图像质量评价方法 | |
| CN101923455A (zh) | 一种yuv格式的数字图像显示和分析方法 | |
| US8971619B2 (en) | Method and a device for extracting color features | |
| CN103325127B (zh) | 一种多光谱图像sift特征提取和描述方法及其系统 | |
| Hu et al. | No reference quality assessment for Thangka color image based on superpixel | |
| Kong et al. | Full-reference IPTV image quality assessment by deeply learning structural cues | |
| Chai et al. | Blind quality evaluator of light field images by group-based representations and multiple plane-oriented perceptual characteristics | |
| Yuan et al. | Development and evaluation of a hybrid point-wise gamut mapping framework | |
| US20140270567A1 (en) | Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression | |
| Lee et al. | Towards anovel perceptual color difference metric using circular processing of hue components | |
| Li et al. | A full-reference quality assessment metric for cartoon images | |
| Meng et al. | Image quality evaluation of light field image based on macro-pixels and focus stack | |
| Yuan et al. | Color image quality assessment with multi deep convolutional networks | |
| Kumar et al. | Texture feature extraction to colorize gray images | |
| CN107316040A (zh) | 一种光照不变的图像颜色空间变换方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200508 |