CN106210710A - 一种基于多尺度字典的立体图像视觉舒适度评价方法 - Google Patents
一种基于多尺度字典的立体图像视觉舒适度评价方法 Download PDFInfo
- Publication number
- CN106210710A CN106210710A CN201610590602.6A CN201610590602A CN106210710A CN 106210710 A CN106210710 A CN 106210710A CN 201610590602 A CN201610590602 A CN 201610590602A CN 106210710 A CN106210710 A CN 106210710A
- Authority
- CN
- China
- Prior art keywords
- equal
- comfort level
- less
- comfort
- stereo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 43
- 239000013598 vector Substances 0.000 claims abstract description 125
- 230000000007 visual effect Effects 0.000 claims abstract description 93
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000012360 testing method Methods 0.000 claims abstract description 39
- 230000008904 neural response Effects 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000011176 pooling Methods 0.000 claims description 26
- 210000002569 neuron Anatomy 0.000 claims description 25
- 230000004044 response Effects 0.000 claims description 20
- 230000011218 segmentation Effects 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 6
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 abstract description 3
- 238000013507 mapping Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 25
- 239000000203 mixture Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013210 evaluation model Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多尺度字典的立体图像视觉舒适度评价方法，其在训练阶段，通过选取不同舒适度等级各多幅立体图像构成初始训练图像集，并通过计算初始训练图像集中的每幅立体图像的视差统计特征矢量和神经响应特征矢量，来获得多尺度字典和对应的多尺度质量表，这样就建立了特征矢量与质量之间的关系模型，从而只需要通过简单的映射就能直接预测图像质量；在测试阶段，计算测试立体图像的特征矢量，并根据多尺度字典和多尺度质量表，预测得到对应于不同舒适度等级的舒适度评价预测值，并结合对应于不同舒适度等级的舒适度评价预测值得到最终的视觉舒适度客观评价预测值，与主观评价值保持了较好的一致性，即与主观感知之间的相关性高。
Description
技术领域
本发明涉及一种图像质量评价方法，尤其是涉及一种基于多尺度字典的立体图像视觉舒适度评价方法。
背景技术
随着立体视频显示技术和高质量立体视频内容获取技术的快速发展，立体视频的视觉体验质量(QoE，quality of experience)是立体视频系统设计中的一个重要问题，而视觉舒适度(VC，visual comfort)是影响立体视频的视觉体验质量的重要因素。目前，对立体视频/图像的质量评价研究主要考虑内容失真对于图像质量的影响，而很少考虑视觉舒适度等因素的影响。因此，为了提高观看者的视觉体验质量，研究立体视频/图像的视觉舒适度客观评价模型对指导3D内容的制作和后期处理具有十分重要的作用。
传统的立体图像视觉舒适度评价方法主要是基于机器学习的方法，其需要大量的样本数据在立体图像视觉舒适度特征和主观评价值之间建立回归模型，然而由于主观评价值的获取需要通过复杂的主观实验，因此非常耗时，并不适合实际的图像处理应用。考虑到人们在进行主观实验时通常采用多等级打分制对立体图像的视觉舒适度进行评价这一事实，如何在客观评价过程中有效地将评价结果映射到不同的舒适度等级，使得客观评价结果更加符合人类视觉主观评价，是在对立体图像进行客观视觉舒适度评价过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种基于多尺度字典的立体图像视觉舒适度评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性。
本发明解决上述技术问题所采用的技术方案为：一种基于多尺度字典的立体图像视觉舒适度评价方法，其特征在于包括训练阶段和测试阶段两个过程；在训练阶段中，选取五个不同舒适度等级的多幅立体图像，构成初始训练图像集；然后通过获取初始训练图像集中的每幅立体图像的视差统计特征矢量和神经响应特征矢量，得到初始训练图像集中的每幅立体图像的用于反映视觉舒适度的特征矢量；接着根据初始训练图像集中的所有立体图像的用于反映视觉舒适度的特征矢量构造多尺度字典，并确定多尺度字典对应的多尺度质量表；在测试阶段中，对于任意一幅测试立体图像，以相同的方式获得测试立体图像的用于反映视觉舒适度的特征矢量；然后根据在训练阶段构造的多尺度字典，计算测试立体图像的用于反映视觉舒适度的特征矢量的稀疏系数矩阵，进而确定测试立体图像的用于反映视觉舒适度的特征矢量对应于多尺度字典的不同舒适度等级的稀疏系数矩阵；接着根据在训练阶段确定的多尺度质量表和对应于多尺度字典的不同舒适度等级的稀疏系数矩阵，计算测试立体图像对应于不同舒适度等级的舒适度评价预测值；最后结合测试立体图像对应于不同舒适度等级的舒适度评价预测值，获得测试立体图像的视觉舒适度客观评价预测值。
所述的训练阶段具体包括以下步骤：
①_1、选取五个不同舒适度等级各幅宽度为W且高度为H的立体图像，将选取的共M幅立体图像构成初始训练图像集，记为{Si|1≤i≤M}，其中，M>5且M为5的整数倍，Si表示{Si|1≤i≤M}中的第i幅立体图像；
①_2、获取{Si|1≤i≤M}中的每幅立体图像的视差统计特征矢量，将Si的视差统计特征矢量记为 其中，的维数为1×5，此处符号“[]”为矢量表示符号，fi 1、fi 2、fi 3、fi 4和fi 5对应表示Si的左视点图像与右视点图像之间的视差图像{di(x,y)}的平均最大视差、平均最小视差、视差对比度、视差散度和视差偏度，di(x,y)表示{di(x,y)}中坐标位置为(x,y)的像素点的像素值，1≤x≤W，1≤y≤H；
①_3、获取{Si|1≤i≤M}中的每幅立体图像的神经响应特征矢量，将Si的神经响应特征矢量记为 其中，的维数为1×13，此处符号“[]”为矢量表示符号，1≤j≤13，ri 1,ri 2,…,ri j,…,ri 13对应为中的第1个元素、第2个元素、…、第j个元素、…、第13个元素，符号“||”为取绝对值符号，表示Si中的第j个神经元在所有视差区间的响应构成的向量经最大池化后得到的特征矢量；
①_4、将{Si|1≤i≤M}中的每幅立体图像的视差统计特征矢量和神经响应特征矢量组合成一个新的矢量作为对应的立体图像的用于反映视觉舒适度的特征矢量，将Si的用于反映视觉舒适度的特征矢量记为Di，其中，Di的维数为1×18，此处符号“[]”为矢量表示符号，表示将和连接起来形成一个新的矢量；
①_5、根据{Si|1≤i≤M}中的所有立体图像的用于反映视觉舒适度的特征矢量构造多尺度字典，记为D，并确定D对应的多尺度质量表，记为q，其中，D1,1表示{Si|1≤i≤M}中属于第1个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第1个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，D2,1表示{Si|1≤i≤M}中属于第2个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第2个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，D3,1表示{Si|1≤i≤M}中属于第3个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第3个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，D4,1表示{Si|1≤i≤M}中属于第4个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第4个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，D5,1表示{Si|1≤i≤M}中属于第5个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第5个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，q1,1表示{Si|1≤i≤M}中属于第1个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第1个舒适度等级的第幅立体图像的平均主观评分均值，q2,1表示{Si|1≤i≤M}中属于第2个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第2个舒适度等级的第幅立体图像的平均主观评分均值，q3,1表示{Si|1≤i≤M}中属于第3个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第3个舒适度等级的第幅立体图像的平均主观评分均值，q4,1表示{Si|1≤i≤M}中属于第4个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第4个舒适度等级的第幅立体图像的平均主观评分均值，q5,1表示{Si|1≤i≤M}中属于第5个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第5个舒适度等级的第幅立体图像的平均主观评分均值；
所述的测试阶段具体包括以下步骤：
②_1、对于任意一幅测试立体图像Stest，按照步骤①_2至步骤①_4的过程，以相同的操作获取Stest的用于反映视觉舒适度的特征矢量，记为Gt，其中，Gt的维数为1×18；
②_2、根据在训练阶段构造的多尺度字典D，计算Gt的稀疏系数矩阵，记为 是通过求解得到的，其中，α1,1表示Gt对应于多尺度字典D的第1个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第1个舒适度等级的第幅立体图像的稀疏系数，α2,1表示Gt对应于多尺度字典D的第2个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第2个舒适度等级的第幅立体图像的稀疏系数，α3,1表示Gt对应于多尺度字典D的第3个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第3个舒适度等级的第幅立体图像的稀疏系数，α4,1表示Gt对应于多尺度字典D的第4个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第4个舒适度等级的第幅立体图像的稀疏系数，α5,1表示Gt对应于多尺度字典D的第5个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第5个舒适度等级的第幅立体图像的稀疏系数，符号“||||2”为求取矩阵的2-范数符号，ε为误差阈值，min{}为取最小值函数；
②_3、根据确定Gt对应于多尺度字典D的不同舒适度等级的稀疏系数矩阵，将Gt对应于多尺度字典D的第1个舒适度等级的稀疏系数矩阵记为将Gt对应于多尺度字典D的第2个舒适度等级的稀疏系数矩阵记为将Gt对应于多尺度字典D的第3个舒适度等级的稀疏系数矩阵记为将Gt对应于多尺度字典D的第4个舒适度等级的稀疏系数矩阵记为将Gt对应于多尺度字典D的第5个舒适度等级的稀疏系数矩阵记为
②_4、计算Stest对应于不同舒适度等级的舒适度评价预测值，将Stest对应于第n个舒适度等级的舒适度评价预测值记为Qn，其中，1≤n≤5，符号“〈〉”为求内积操作符号，q为在训练阶段确定的多尺度质量表，符号“||||1”为求取矩阵的1-范数符号；
②_5、通过对Stest对应于不同舒适度等级的舒适度评价预测值进行结合，获得Stest的视觉舒适度客观评价预测值，记为Qt，其中，
所述的步骤①_2中{di(x,y)}采用基于光流的视差估计算法获得。
所述的步骤①_2中 其中，dmax表示{di(x,y)}中的所有像素点的像素值按从大到小的顺序排序后最大的像素值，表示{di(x,y)}中的所有像素点的像素值按从大到小的顺序排列后、前10％的像素值对应的所有像素点的坐标位置构成的集合，表示{di(x,y)}中的所有像素点的像素值按从大到小的顺序排列后、前10％的像素值对应的像素点的总个数， 表示{di(x,y)}中的所有像素点的像素值按从小到大的顺序排列后、前10％的像素值对应的所有像素点的坐标位置构成的集合，表示{di(x,y)}中的所有像素点的像素值按从小到大的顺序排列后、前10％的像素值对应的像素点的总个数，NR表示采用超像素分割技术对{di(x,y)}进行分割得到的分割区域的总个数，1≤p≤NR，SPp表示采用超像素分割技术对{di(x,y)}进行分割得到的第p个分割区域， p≠q，exp()表示以自然基数e为底的指数函数，λ为控制参数，符号“||||”为求欧式距离符号，表示SPp中的中心像素点的坐标位置，SPq表示采用超像素分割技术对{di(x,y)}进行分割得到的第q个分割区域，表示SPq中的中心像素点的坐标位置，max()为取最大值函数，表示SPp中的所有像素点的坐标位置构成的集合，表示SPp中包含的像素点的总个数，表示SPq中的所有像素点的坐标位置构成的集合，表示SPq中包含的像素点的总个数，符号“||”为取绝对值符号。
所述的步骤①_3中的获取过程为：
①_3a、采用基于光流的视差估计算法获取Si的视差图像，记为{di(x,y)}；然后利用视差转换算法计算{di(x,y)}的角视差图像，记为{φi(x,y)}；再计算{φi(x,y)}的视差直方图，记为其中，1≤x≤W，1≤y≤H，di(x,y)表示{di(x,y)}中坐标位置为(x,y)的像素点的像素值，φi(x,y)表示{φi(x,y)}中坐标位置为(x,y)的像素点的像素值，表示{φi(x,y)}中像素值属于第k个视差区间的像素点的总个数，L表示中的视差区间的总数；
①_3b、利用13个不同神经元的视差调制函数对{di(x,y)}进行调制操作，得到{di(x,y)}中的不同神经元在不同视差区间的响应，将{di(x,y)}中的第j个神经元在第k个视差区间的响应记为Rj,k，其中，1≤j≤13,1≤k≤L，p(k|φi(x,y))表示φi(x,y)属于第k个视差区间的概率，如果φi(x,y)属于第k个视差区间，则p(k|φi(x,y))＝1，如果φi(x,y)不属于第k个视差区间，则p(k|φi(x,y))＝0，gj(φi(x,y))表示第j个神经元的视差调制函数，Aj表示第j个神经元的视差调制函数的振幅，Aj∈{44,67,73,42,110,124,51,77,46,121,49,31,92}，表示第j个神经元的视差调制函数的中心， δj表示第j个神经元的视差调制函数的高斯核宽度，δj∈{1.86,1.16,1.07,0.62,0.53,0.31,0.62,0.67,0.57,0.52,1.01,2.10,0.56}，cos()为求余弦函数，fj表示第j个神经元的视差调制函数的频率，fj∈{0.19,0.25,0.28,0.43,0.51,0.37,0.42,0.50,0.49,0.30,0.21,0.19,0.33}，Φj表示第j个神经元的视差调制函数的相位，Φj∈{74,86,123,73,40,-51,-38,-55,-92,-61,-19,38,-162}；
①_3c、将{di(x,y)}中的第j个神经元在所有视差区间的响应构成一个向量，记为 然后利用最大池化方法，获取经最大池化后得到的特征矢量，记为 其中，对应表示{di(x,y)}中的第j个神经元在第1个视差区间的响应、在第2个视差区间的响应、…、在第k个视差区间的响应、…、在第L个视差区间的响应，对应表示中的第1个元素、第2个元素、…、第k个元素、…、第L个元素，
所述的步骤①_3c中获取经最大池化后得到的特征矢量的过程为：获取中的每个元素经最大池化后得到的值，将经最大池化后得到的值记为 其中，max()为取最大值函数；然后将中的所有元素经最大池化后得到的值按顺序排列构成
与现有技术相比，本发明的优点在于：
1)本发明方法在训练阶段，通过选取不同舒适度等级各多幅立体图像构成初始训练图像集，并通过计算初始训练图像集中的每幅立体图像的视差统计特征矢量和神经响应特征矢量，来获得多尺度字典和对应的多尺度质量表，这样就建立了特征矢量与质量之间的关系模型，从而只需要通过简单的映射就能直接预测图像质量。
2)本发明方法在测试阶段，计算测试立体图像的用于反映视觉舒适度的特征矢量，并根据已训练得到的多尺度字典和多尺度质量表，预测得到对应于不同舒适度等级的稀疏系数矩阵和舒适度评价预测值，并结合对应于不同舒适度等级的舒适度评价预测值得到最终的视觉舒适度客观评价预测值，得到的视觉舒适度客观评价预测值与主观评价值保持了较好的一致性，即视觉舒适度客观评价预测值与主观感知之间的相关性高。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于多尺度字典的立体图像视觉舒适度评价方法，其总体实现框图如图1所示，其包括训练阶段和测试阶段两个过程；在训练阶段中，选取五个不同舒适度等级的多幅立体图像，构成初始训练图像集；然后通过获取初始训练图像集中的每幅立体图像的视差统计特征矢量和神经响应特征矢量，得到初始训练图像集中的每幅立体图像的用于反映视觉舒适度的特征矢量；接着根据初始训练图像集中的所有立体图像的用于反映视觉舒适度的特征矢量构造多尺度字典，并确定多尺度字典对应的多尺度质量表；在测试阶段中，对于任意一幅测试立体图像，以相同的方式获得测试立体图像的用于反映视觉舒适度的特征矢量；然后根据在训练阶段构造的多尺度字典，计算测试立体图像的用于反映视觉舒适度的特征矢量的稀疏系数矩阵，进而确定测试立体图像的用于反映视觉舒适度的特征矢量对应于多尺度字典的不同舒适度等级的稀疏系数矩阵；接着根据在训练阶段确定的多尺度质量表和对应于多尺度字典的不同舒适度等级的稀疏系数矩阵，计算测试立体图像对应于不同舒适度等级的舒适度评价预测值；最后结合测试立体图像对应于不同舒适度等级的舒适度评价预测值，获得测试立体图像的视觉舒适度客观评价预测值。
在此具体实施例中，所述的训练阶段具体包括以下步骤：
①_1、选取五个不同舒适度等级各幅宽度为W且高度为H的立体图像，将选取的共M幅立体图像构成初始训练图像集，记为{Si|1≤i≤M}，其中，M>5且M为5的整数倍，在本实施例中取M＝50，Si表示{Si|1≤i≤M}中的第i幅立体图像，符号“{}”为集合表示符号，五个不同舒适度等级分别为极端不舒适(extremely uncomfortable)、不舒适(uncomfortable)、略微舒适(mildly comfortable)、舒适(comfortable)和非常舒适(verycomfortable)，即初始训练图像集{Si|1≤i≤M}由幅极端不舒适的立体图像、幅不舒适的立体图像、幅略微舒适的立体图像、幅舒适的立体图像和幅非常舒适的立体图像构成。
①_2、获取{Si|1≤i≤M}中的每幅立体图像的视差统计特征矢量，将Si的视差统计特征矢量记为 其中，的维数为1×5，此处符号“[]”为矢量表示符号，fi 1、fi 2、fi 3、fi 4和fi 5对应表示Si的左视点图像与右视点图像之间的视差图像{di(x,y)}的平均最大视差、平均最小视差、视差对比度、视差散度和视差偏度，di(x,y)表示{di(x,y)}中坐标位置为(x,y)的像素点的像素值，1≤x≤W，1≤y≤H。
在此具体实施例中，步骤①_2中{di(x,y)}采用现有的基于光流的视差估计算法获得。
在此具体实施例中，步骤①_2中 其中，dmax表示{di(x,y)}中的所有像素点的像素值按从大到小的顺序排序后最大的像素值，表示{di(x,y)}中的所有像素点的像素值按从大到小的顺序排列后、前10％的像素值对应的所有像素点的坐标位置构成的集合，表示{di(x,y)}中的所有像素点的像素值按从大到小的顺序排列后、前10％的像素值对应的像素点的总个数， 表示{di(x,y)}中的所有像素点的像素值按从小到大的顺序排列后、前10％的像素值对应的所有像素点的坐标位置构成的集合，表示{di(x,y)}中的所有像素点的像素值按从小到大的顺序排列后、前10％的像素值对应的像素点的总个数，NR表示采用现有的超像素分割技术对{di(x,y)}进行分割得到的分割区域的总个数，在本实施例中取NR＝400，1≤p≤NR，SPp表示采用现有的超像素分割技术对{di(x,y)}进行分割得到的第p个分割区域，p≠q，exp()表示以自然基数e为底的指数函数，λ为控制参数，在本实施例中取λ＝5，符号“||||”为求欧式距离符号，表示SPp中的中心像素点的坐标位置，SPq表示采用现有的超像素分割技术对{di(x,y)}进行分割得到的第q个分割区域，表示SPq中的中心像素点的坐标位置，max()为取最大值函数，表示SPp中的所有像素点的坐标位置构成的集合，表示SPp中包含的像素点的总个数，表示SPq中的所有像素点的坐标位置构成的集合，表示SPq中包含的像素点的总个数，符号“||”为取绝对值符号。
①_3、获取{Si|1≤i≤M}中的每幅立体图像的神经响应特征矢量，将Si的神经响应特征矢量记为 其中，的维数为1×13，此处符号“[]”为矢量表示符号，1≤j≤13，ri 1,ri 2,…,ri j,…,ri 13对应为中的第1个元素、第2个元素、…、第j个元素、…、第13个元素，符号“||”为取绝对值符号，表示Si中的第j个神经元在所有视差区间的响应构成的向量经最大池化后得到的特征矢量。
在此具体实施例中，步骤①_3中的获取过程为：
①_3a、采用现有的基于光流的视差估计算法获取Si的视差图像，记为{di(x,y)}；然后利用现有的视差转换算法计算{di(x,y)}的角视差图像，记为{φi(x,y)}；再计算{φi(x,y)}的视差直方图，记为其中，1≤x≤W，1≤y≤H，di(x,y)表示{di(x,y)}中坐标位置为(x,y)的像素点的像素值，φi(x,y)表示{φi(x,y)}中坐标位置为(x,y)的像素点的像素值，表示{φi(x,y)}中像素值属于第k个视差区间的像素点的总个数，L表示中的视差区间的总数，L的取值根据{φi(x,y)}的视差直方图分布而定。
①_3b、利用13个不同神经元的视差调制函数对{di(x,y)}进行调制操作，得到{di(x,y)}中的不同神经元在不同视差区间的响应，将{di(x,y)}中的第j个神经元在第k个视差区间的响应记为Rj,k，其中，1≤j≤13,1≤k≤L，p(k|φi(x,y))表示φi(x,y)属于第k个视差区间的概率，如果φi(x,y)属于第k个视差区间，则p(k|φi(x,y))＝1，如果φi(x,y)不属于第k个视差区间，则p(k|φi(x,y))＝0，gj(φi(x,y))表示第j个神经元的视差调制函数，Aj表示第j个神经元的视差调制函数的振幅，Aj∈{44,67,73,42,110,124,51,77,46,121,49,31,92}，表示第j个神经元的视差调制函数的中心， δj表示第j个神经元的视差调制函数的高斯核宽度，δj∈{1.86,1.16,1.07,0.62,0.53,0.31,0.62,0.67,0.57,0.52,1.01,2.10,0.56}，cos()为求余弦函数，fj表示第j个神经元的视差调制函数的频率，fj∈{0.19,0.25,0.28,0.43,0.51,0.37,0.42,0.50,0.49,0.30,0.21,0.19,0.33}，Φj表示第j个神经元的视差调制函数的相位，Φj∈{74,86,123,73,40,-51,-38,-55,-92,-61,-19,38,-162}。
①_3c、将{di(x,y)}中的第j个神经元在所有视差区间的响应构成一个向量，记为 然后利用现有的最大池化方法，获取经最大池化后得到的特征矢量，记为 其中，对应表示{di(x,y)}中的第j个神经元在第1个视差区间的响应、在第2个视差区间的响应、…、在第k个视差区间的响应、…、在第L个视差区间的响应，对应表示中的第1个元素、第2个元素、…、第k个元素、…、第L个元素，为经最大池化后得到的，为经最大池化后得到的，为经最大池化后得到的，为经最大池化后得到的，
在此具体实施例中，步骤①_3c中获取经最大池化后得到的特征矢量的过程为：获取中的每个元素经最大池化后得到的值，将经最大池化后得到的值记为 其中，max()为取最大值函数；然后将中的所有元素经最大池化后得到的值按顺序排列构成
①_4、将{Si|1≤i≤M}中的每幅立体图像的视差统计特征矢量和神经响应特征矢量组合成一个新的矢量作为对应的立体图像的用于反映视觉舒适度的特征矢量，将Si的用于反映视觉舒适度的特征矢量记为Di，其中，Di的维数为1×18，此处符号“[]”为矢量表示符号，表示将和连接起来形成一个新的矢量。
①_5、根据{Si|1≤i≤M}中的所有立体图像的用于反映视觉舒适度的特征矢量构造多尺度字典，记为D，并确定D对应的多尺度质量表，记为q，其中，D1,1表示{Si|1≤i≤M}中属于第1个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第1个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，D2,1表示{Si|1≤i≤M}中属于第2个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第2个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，D3,1表示{Si|1≤i≤M}中属于第3个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第3个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，D4,1表示{Si|1≤i≤M}中属于第4个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第4个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，D5,1表示{Si|1≤i≤M}中属于第5个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第5个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，q1,1表示{Si|1≤i≤M}中属于第1个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第1个舒适度等级的第幅立体图像的平均主观评分均值，q2,1表示{Si|1≤i≤M}中属于第2个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第2个舒适度等级的第幅立体图像的平均主观评分均值，q3,1表示{Si|1≤i≤M}中属于第3个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第3个舒适度等级的第幅立体图像的平均主观评分均值，q4,1表示{Si|1≤i≤M}中属于第4个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第4个舒适度等级的第幅立体图像的平均主观评分均值，q5,1表示{Si|1≤i≤M}中属于第5个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第5个舒适度等级的第幅立体图像的平均主观评分均值。
所述的测试阶段具体包括以下步骤：
②_1、对于任意一幅测试立体图像Stest，按照步骤①_2至步骤①_4的过程，以相同的操作获取Stest的用于反映视觉舒适度的特征矢量，记为Gt，其中，Gt的维数为1×18。即Gt的获取过程为：a、获取Stest的视差统计特征矢量，记为 其中，的维数为1×5，此处符号“[]”为矢量表示符号，ft 1、ft 2、ft 3、ft 4和ft 5对应表示Stest的左视点图像与右视点图像之间的视差图像{dt(x,y)}的平均最大视差、平均最小视差、视差对比度、视差散度和视差偏度，dt(x,y)表示{dt(x,y)}中坐标位置为(x,y)的像素点的像素值，1≤x≤W，1≤y≤H；b、获取Stest的神经响应特征矢量，记为 其中，的维数为1×13，此处符号“[]”为矢量表示符号，1≤j≤13，rt 1,rt 2,…,rt j,…,rt 13对应为中的第1个元素、第2个元素、…、第j个元素、…、第13个元素，符号“||”为取绝对值符号，表示Stest中的第j个神经元在所有视差区间的响应构成的向量经最大池化后得到的特征矢量；c、将和组合成一个新的矢量作为Stest的用于反映视觉舒适度的特征矢量，记为Gt，其中，Gt的维数为1×18，此处符号“[]”为矢量表示符号，表示将和连接起来形成一个新的矢量。
②_2、根据在训练阶段构造的多尺度字典D，计算Gt的稀疏系数矩阵，记为 是通过求解得到的，其中，α1,1表示Gt对应于多尺度字典D的第1个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第1个舒适度等级的第幅立体图像的稀疏系数，α2,1表示Gt对应于多尺度字典D的第2个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第2个舒适度等级的第幅立体图像的稀疏系数，α3,1表示Gt对应于多尺度字典D的第3个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第3个舒适度等级的第幅立体图像的稀疏系数，α4,1表示Gt对应于多尺度字典D的第4个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第4个舒适度等级的第幅立体图像的稀疏系数，α5,1表示Gt对应于多尺度字典D的第5个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第5个舒适度等级的第幅立体图像的稀疏系数，符号“||||2”为求取矩阵的2-范数符号，ε为误差阈值，在本实施例中取ε＝10，min{}为取最小值函数。
②_3、根据确定Gt对应于多尺度字典D的不同舒适度等级的稀疏系数矩阵，将Gt对应于多尺度字典D的第1个舒适度等级的稀疏系数矩阵记为将Gt对应于多尺度字典D的第2个舒适度等级的稀疏系数矩阵记为将Gt对应于多尺度字典D的第3个舒适度等级的稀疏系数矩阵记为将Gt对应于多尺度字典D的第4个舒适度等级的稀疏系数矩阵记为将Gt对应于多尺度字典D的第5个舒适度等级的稀疏系数矩阵记为
②_4、计算Stest对应于不同舒适度等级的舒适度评价预测值，将Stest对应于第n个舒适度等级的舒适度评价预测值记为Qn，其中，1≤n≤5，符号“<>”为求内积操作符号，q为在训练阶段确定的多尺度质量表，符号“||||1”为求取矩阵的1-范数符号。
②_5、通过对Stest对应于不同舒适度等级的舒适度评价预测值进行结合，获得Stest的视觉舒适度客观评价预测值，记为Qt，其中，
在本实施例中，采用宁波大学建立的立体图像数据库来分析本实施例得到的立体图像的视觉舒适度客观评价预测值与平均主观评分均值之间的相关性。该立体图像数据库包括200幅立体图像以及对应的视差图像，该立体图像数据库中包含了各种场景深度的室内和室外图像，并给出了每幅立体图像的视觉舒适度的平均主观评分均值。这里，将50幅立体图像作为训练立体图像构成初始训练图像集，剩下的150幅立体图像作为测试立体图像。利用评估图像质量评价方法的3个常用客观参量作为评价指标，即非线性回归条件下的Pearson线性相关系数(Pearson linear correlation coefficient，PLCC)、Spearman秩等级相关系数(Spearman rank order correlation coefficient，SROCC)、均方根误差(Rootmean squared error，RMSE)，PLCC和RMSE反映客观评价预测值的准确性，SROCC反映其单调性。将利用本发明方法计算得到的150幅立体图像各自的视觉舒适度客观评价预测值做五参数Logistic函数非线性拟合，PLCC和SROCC值越高、RMSE值越小说明本发明方法的评价结果与视觉舒适度的平均主观评分均值的相关性越好。表1给出了采用不同的特征矢量得到的视觉舒适度客观评价预测值与视觉舒适度的平均主观评分均值之间的相关性，从表1中可以看出，只采用视差统计特征矢量或神经响应特征矢量构造多尺度字典得到的视觉舒适度客观评价预测值与视觉舒适度的平均主观评分均值之间的相关性并不是最优的，而采用视差统计特征矢量结合神经响应特征矢量构造多尺度字典得到的视觉舒适度客观评价预测值与视觉舒适度的平均主观评分均值之间的相关性提高了，这说明了本发明方法提取的特征信息是有效的，同时也说明了本发明方法建立的基于多尺度字典的视觉舒适度评价模型是准确的，使得得到的视觉舒适度客观评价预测值与视觉舒适度的平均主观评分均值之间的相关性更强，这足以说明本发明方法是可行且有效的。
表1采用不同特征组合得到的视觉舒适度客观评价预测值与视觉舒适度的平均主观评分均值之间的相关性
Claims (6)
1.一种基于多尺度字典的立体图像视觉舒适度评价方法，其特征在于包括训练阶段和测试阶段两个过程；在训练阶段中，选取五个不同舒适度等级的多幅立体图像，构成初始训练图像集；然后通过获取初始训练图像集中的每幅立体图像的视差统计特征矢量和神经响应特征矢量，得到初始训练图像集中的每幅立体图像的用于反映视觉舒适度的特征矢量；接着根据初始训练图像集中的所有立体图像的用于反映视觉舒适度的特征矢量构造多尺度字典，并确定多尺度字典对应的多尺度质量表；在测试阶段中，对于任意一幅测试立体图像，以相同的方式获得测试立体图像的用于反映视觉舒适度的特征矢量；然后根据在训练阶段构造的多尺度字典，计算测试立体图像的用于反映视觉舒适度的特征矢量的稀疏系数矩阵，进而确定测试立体图像的用于反映视觉舒适度的特征矢量对应于多尺度字典的不同舒适度等级的稀疏系数矩阵；接着根据在训练阶段确定的多尺度质量表和对应于多尺度字典的不同舒适度等级的稀疏系数矩阵，计算测试立体图像对应于不同舒适度等级的舒适度评价预测值；最后结合测试立体图像对应于不同舒适度等级的舒适度评价预测值，获得测试立体图像的视觉舒适度客观评价预测值。
2.根据权利要求1所述的一种基于多尺度字典的立体图像视觉舒适度评价方法，其特征在于所述的训练阶段具体包括以下步骤：
①_1、选取五个不同舒适度等级各幅宽度为W且高度为H的立体图像，将选取的共M幅立体图像构成初始训练图像集，记为{Si|1≤i≤M}，其中，M>5且M为5的整数倍，Si表示{Si|1≤i≤M}中的第i幅立体图像；
①_2、获取{Si|1≤i≤M}中的每幅立体图像的视差统计特征矢量，将Si的视差统计特征矢量记为 其中，的维数为1×5，此处符号“[]”为矢量表示符号，fi 1、fi 2、fi 3、fi 4和fi 5对应表示Si的左视点图像与右视点图像之间的视差图像{di(x,y)}的平均最大视差、平均最小视差、视差对比度、视差散度和视差偏度，di(x,y)表示{di(x,y)}中坐标位置为(x,y)的像素点的像素值，1≤x≤W，1≤y≤H；
①_3、获取{Si|1≤i≤M}中的每幅立体图像的神经响应特征矢量，将Si的神经响应特征矢量记为 其中，的维数为1×13，此处符号“[]”为矢量表示符号，1≤j≤13，ri 1,ri 2,…,ri j,…,ri 13对应为中的第1个元素、第2个元素、…、第j个元素、…、第13个元素，符号“||”为取绝对值符号，表示Si中的第j个神经元在所有视差区间的响应构成的向量经最大池化后得到的特征矢量；
①_4、将{Si|1≤i≤M}中的每幅立体图像的视差统计特征矢量和神经响应特征矢量组合成一个新的矢量作为对应的立体图像的用于反映视觉舒适度的特征矢量，将Si的用于反映视觉舒适度的特征矢量记为Di，其中，Di的维数为1×18，此处符号“[]”为矢量表示符号，表示将和连接起来形成一个新的矢量；
①_5、根据{Si|1≤i≤M}中的所有立体图像的用于反映视觉舒适度的特征矢量构造多尺度字典，记为D，并确定D对应的多尺度质量表，记为q，其中，D1,1表示{Si|1≤i≤M}中属于第1个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第1个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，D2,1表示{Si|1≤i≤M}中属于第2个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第2个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，D3,1表示{Si|1≤i≤M}中属于第3个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第3个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，D4,1表示{Si|1≤i≤M}中属于第4个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第4个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，D5,1表示{Si|1≤i≤M}中属于第5个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第5个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，q1,1表示{Si|1≤i≤M}中属于第1个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第1个舒适度等级的第幅立体图像的平均主观评分均值，q2,1表示{Si|1≤i≤M}中属于第2个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第2个舒适度等级的第幅立体图像的平均主观评分均值，q3,1表示{Si|1≤i≤M}中属于第3个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第3个舒适度等级的第幅立体图像的平均主观评分均值，q4,1表示{Si|1≤i≤M}中属于第4个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第4个舒适度等级的第幅立体图像的平均主观评分均值，q5,1表示{Si|1≤i≤M}中属于第5个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第5个舒适度等级的第幅立体图像的平均主观评分均值；
所述的测试阶段具体包括以下步骤：
②_1、对于任意一幅测试立体图像Stest，按照步骤①_2至步骤①_4的过程，以相同的操作获取Stest的用于反映视觉舒适度的特征矢量，记为Gt，其中，Gt的维数为1×18；
②_2、根据在训练阶段构造的多尺度字典D，计算Gt的稀疏系数矩阵，记为 是通过求解得到的，其中，α1,1表示Gt对应于多尺度字典D的第1个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第1个舒适度等级的第幅立体图像的稀疏系数，α2,1表示Gt对应于多尺度字典D的第2个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第2个舒适度等级的第幅立体图像的稀疏系数，α3,1表示Gt对应于多尺度字典D的第3个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第3个舒适度等级的第幅立体图像的稀疏系数，α4,1表示Gt对应于多尺度字典D的第4个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第4个舒适度等级的第幅立体图像的稀疏系数，α5,1表示Gt对应于多尺度字典D的第5个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第5个舒适度等级的第幅立体图像的稀疏系数，符号“||||2”为求取矩阵的2-范数符号，ε为误差阈值，min{}为取最小值函数；
②_3、根据确定Gt对应于多尺度字典D的不同舒适度等级的稀疏系数矩阵，将Gt对应于多尺度字典D的第1个舒适度等级的稀疏系数矩阵记为将Gt对应于多尺度字典D的第2个舒适度等级的稀疏系数矩阵记为将Gt对应于多尺度字典D的第3个舒适度等级的稀疏系数矩阵记为将Gt对应于多尺度字典D的第4个舒适度等级的稀疏系数矩阵记为将Gt对应于多尺度字典D的第5个舒适度等级的稀疏系数矩阵记为
②_4、计算Stest对应于不同舒适度等级的舒适度评价预测值，将Stest对应于第n个舒适度等级的舒适度评价预测值记为Qn，其中，1≤n≤5，符号“<>”为求内积操作符号，q为在训练阶段确定的多尺度质量表，符号“||||1”为求取矩阵的1-范数符号；
②_5、通过对Stest对应于不同舒适度等级的舒适度评价预测值进行结合，获得Stest的视觉舒适度客观评价预测值，记为Qt，其中，
3.根据权利要求2所述的一种基于多尺度字典的立体图像视觉舒适度评价方法，其特征在于所述的步骤①_2中{di(x,y)}采用基于光流的视差估计算法获得。
4.根据权利要求2或3所述的一种基于多尺度字典的立体图像视觉舒适度评价方法，其特征在于所述的步骤①_2中 其中，dmax表示{di(x,y)}中的所有像素点的像素值按从大到小的顺序排序后最大的像素值，表示{di(x,y)}中的所有像素点的像素值按从大到小的顺序排列后、前10％的像素值对应的所有像素点的坐标位置构成的集合，表示{di(x,y)}中的所有像素点的像素值按从大到小的顺序排列后、前10％的像素值对应的像素点的总个数， 表示{di(x,y)}中的所有像素点的像素值按从小到大的顺序排列后、前10％的像素值对应的所有像素点的坐标位置构成的集合，表示{di(x,y)}中的所有像素点的像素值按从小到大的顺序排列后、前10％的像素值对应的像素点的总个数，NR表示采用超像素分割技术对{di(x,y)}进行分割得到的分割区域的总个数，1≤p≤NR，SPp表示采用超像素分割技术对{di(x,y)}进行分割得到的第p个分割区域， p≠q，exp()表示以自然基数e为底的指数函数，λ为控制参数，符号“||||”为求欧式距离符号，表示SPp中的中心像素点的坐标位置，SPq表示采用超像素分割技术对{di(x,y)}进行分割得到的第q个分割区域，表示SPq中的中心像素点的坐标位置，max()为取最大值函数，表示SPp中的所有像素点的坐标位置构成的集合，表示SPp中包含的像素点的总个数，表示SPq中的所有像素点的坐标位置构成的集合，表示SPq中包含的像素点的总个数，符号“||”为取绝对值符号。
5.根据权利要求2所述的一种基于多尺度字典的立体图像视觉舒适度评价方法，其特征在于所述的步骤①_3中的获取过程为：
①_3a、采用基于光流的视差估计算法获取Si的视差图像，记为{di(x,y)}；然后利用视差转换算法计算{di(x,y)}的角视差图像，记为{φi(x,y)}；再计算{φi(x,y)}的视差直方图，记为其中，1≤x≤W，1≤y≤H，di(x,y)表示{di(x,y)}中坐标位置为(x,y)的像素点的像素值，φi(x,y)表示{φi(x,y)}中坐标位置为(x,y)的像素点的像素值，表示{φi(x,y)}中像素值属于第k个视差区间的像素点的总个数，L表示中的视差区间的总数；
①_3b、利用13个不同神经元的视差调制函数对{di(x,y)}进行调制操作，得到{di(x,y)}中的不同神经元在不同视差区间的响应，将{di(x,y)}中的第j个神经元在第k个视差区间的响应记为Rj,k，其中，1≤j≤13,1≤k≤L，p(k|φi(x,y))表示φi(x,y)属于第k个视差区间的概率，如果φi(x,y)属于第k个视差区间，则p(k|φi(x,y))＝1，如果φi(x,y)不属于第k个视差区间，则p(k|φi(x,y))＝0，gj(φi(x,y))表示第j个神经元的视差调制函数，Aj表示第j个神经元的视差调制函数的振幅，Aj∈{44,67,73,42,110,124,51,77,46,121,49,31,92}，表示第j个神经元的视差调制函数的中心， δj表示第j个神经元的视差调制函数的高斯核宽度，δj∈{1.86,1.16,1.07,0.62,0.53,0.31,0.62,0.67,0.57,0.52,1.01,2.10,0.56}，cos()为求余弦函数，fj表示第j个神经元的视差调制函数的频率，fj∈{0.19,0.25,0.28,0.43,0.51,0.37,0.42,0.50,0.49,0.30,0.21,0.19,0.33}，Φj表示第j个神经元的视差调制函数的相位，Φj∈{74,86,123,73,40,-51,-38,-55,-92,-61,-19,38,-162}；
①_3c、将{di(x,y)}中的第j个神经元在所有视差区间的响应构成一个向量，记为 然后利用最大池化方法，获取经最大池化后得到的特征矢量，记为 其中，对应表示{di(x,y)}中的第j个神经元在第1个视差区间的响应、在第2个视差区间的响应、…、在第k个视差区间的响应、…、在第L个视差区间的响应，对应表示中的第1个元素、第2个元素、…、第k个元素、…、第L个元素，
6.根据权利要求5所述的一种基于多尺度字典的立体图像视觉舒适度评价方法，其特征在于所述的步骤①_3c中获取经最大池化后得到的特征矢量的过程为：获取中的每个元素经最大池化后得到的值，将经最大池化后得到的值记为 其中，max()为取最大值函数；然后将中的所有元素经最大池化后得到的值按顺序排列构成
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610590602.6A CN106210710B (zh) | 2016-07-25 | 2016-07-25 | 一种基于多尺度字典的立体图像视觉舒适度评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610590602.6A CN106210710B (zh) | 2016-07-25 | 2016-07-25 | 一种基于多尺度字典的立体图像视觉舒适度评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106210710A true CN106210710A (zh) | 2016-12-07 |
| CN106210710B CN106210710B (zh) | 2018-01-30 |
Family
ID=57494876
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610590602.6A Expired - Fee Related CN106210710B (zh) | 2016-07-25 | 2016-07-25 | 一种基于多尺度字典的立体图像视觉舒适度评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106210710B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330873A (zh) * | 2017-05-05 | 2017-11-07 | 浙江大学 | 基于多尺度双目融合和局部特征提取的立体图像质量客观评价方法 |
| CN107358590A (zh) * | 2017-07-19 | 2017-11-17 | 南京邮电大学 | 基于超像素分割和相似组稀疏表示的立体视频误码掩盖方法 |
| CN107909565A (zh) * | 2017-10-29 | 2018-04-13 | 天津大学 | 基于卷积神经网络的立体图像舒适度评价方法 |
| CN109510981A (zh) * | 2019-01-23 | 2019-03-22 | 杭州电子科技大学 | 一种基于多尺度dct变换的立体图像舒适度预测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1337196A (zh) * | 2000-08-04 | 2002-02-27 | 宋辉章 | 电子护发梳 |
| CN103096122A (zh) * | 2013-01-24 | 2013-05-08 | 上海交通大学 | 基于感兴趣区域内运动特征的立体视觉舒适度评价方法 |
| CN103347196A (zh) * | 2013-06-27 | 2013-10-09 | 宁波大学 | 一种基于机器学习的立体图像视觉舒适度评价方法 |
| KR20140148080A (ko) * | 2013-06-21 | 2014-12-31 | 한국과학기술원 | 시각적으로 편안한 입체 영상을 위한 스테레오스코픽 영상 촬영 방법 및 시스템 |
| CN104754322A (zh) * | 2013-12-27 | 2015-07-01 | 华为技术有限公司 | 一种立体视频舒适度评价方法及装置 |
-
2016
- 2016-07-25 CN CN201610590602.6A patent/CN106210710B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1337196A (zh) * | 2000-08-04 | 2002-02-27 | 宋辉章 | 电子护发梳 |
| CN103096122A (zh) * | 2013-01-24 | 2013-05-08 | 上海交通大学 | 基于感兴趣区域内运动特征的立体视觉舒适度评价方法 |
| KR20140148080A (ko) * | 2013-06-21 | 2014-12-31 | 한국과학기술원 | 시각적으로 편안한 입체 영상을 위한 스테레오스코픽 영상 촬영 방법 및 시스템 |
| CN103347196A (zh) * | 2013-06-27 | 2013-10-09 | 宁波大学 | 一种基于机器学习的立体图像视觉舒适度评价方法 |
| CN104754322A (zh) * | 2013-12-27 | 2015-07-01 | 华为技术有限公司 | 一种立体视频舒适度评价方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 王珊珊: "《基于稀疏表示的无参考立体图像质量评价方法》", 《中国优秀硕士学位论文全文数据库（电子期刊）》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330873A (zh) * | 2017-05-05 | 2017-11-07 | 浙江大学 | 基于多尺度双目融合和局部特征提取的立体图像质量客观评价方法 |
| CN107330873B (zh) * | 2017-05-05 | 2019-12-10 | 浙江大学 | 基于多尺度双目融合和局部特征提取的立体图像质量客观评价方法 |
| CN107358590A (zh) * | 2017-07-19 | 2017-11-17 | 南京邮电大学 | 基于超像素分割和相似组稀疏表示的立体视频误码掩盖方法 |
| CN107909565A (zh) * | 2017-10-29 | 2018-04-13 | 天津大学 | 基于卷积神经网络的立体图像舒适度评价方法 |
| CN109510981A (zh) * | 2019-01-23 | 2019-03-22 | 杭州电子科技大学 | 一种基于多尺度dct变换的立体图像舒适度预测方法 |
| CN109510981B (zh) * | 2019-01-23 | 2020-05-05 | 杭州电子科技大学 | 一种基于多尺度dct变换的立体图像舒适度预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106210710B (zh) | 2018-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108428227B (zh) | 基于全卷积神经网络的无参考图像质量评价方法 | |
| Shao et al. | Full-reference quality assessment of stereoscopic images by learning binocular receptive field properties | |
| Shao et al. | Toward a blind deep quality evaluator for stereoscopic images based on monocular and binocular interactions | |
| CN110060236B (zh) | 基于深度卷积神经网络的立体图像质量评价方法 | |
| Yue et al. | Blind stereoscopic 3D image quality assessment via analysis of naturalness, structure, and binocular asymmetry | |
| CN109831664B (zh) | 基于深度学习的快速压缩立体视频质量评价方法 | |
| CN104811693B (zh) | 一种立体图像视觉舒适度客观评价方法 | |
| CN102663747B (zh) | 一种基于视觉感知的立体图像客观质量评价方法 | |
| CN105574901B (zh) | 一种基于局部对比度模式的通用无参考图像质量评价方法 | |
| Xu et al. | Binocular rivalry oriented predictive autoencoding network for blind stereoscopic image quality measurement | |
| CN107146220B (zh) | 一种通用型无参考图像质量评价方法 | |
| CN104036502B (zh) | 一种无参考模糊失真立体图像质量评价方法 | |
| CN107481236A (zh) | 一种屏幕图像的质量评价方法 | |
| CN106210710B (zh) | 一种基于多尺度字典的立体图像视觉舒适度评价方法 | |
| CN105357519B (zh) | 基于自相似度特征的无参考立体图像质量客观评价方法 | |
| CN103780895B (zh) | 一种立体视频质量评价方法 | |
| CN105338343A (zh) | 一种基于双目感知的无参考立体图像质量评价方法 | |
| CN110516716A (zh) | 基于多分支相似度网络的无参考图像质量评价方法 | |
| Jiang et al. | No reference stereo video quality assessment based on motion feature in tensor decomposition domain | |
| CN109788275A (zh) | 自然性、结构和双目不对称无参考立体图像质量评价方法 | |
| CN105407349A (zh) | 基于双目视觉感知的无参考立体图像质量客观评价方法 | |
| CN104036493B (zh) | 一种基于多重分形谱的无参考图像质量评价方法 | |
| CN107743225A (zh) | 一种利用多层深度表征进行无参考图像质量预测的方法 | |
| CN109429051A (zh) | 基于多视图特征学习的无参考立体视频质量客观评价方法 | |
| Shao et al. | Toward domain transfer for no-reference quality prediction of asymmetrically distorted stereoscopic images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201203 Address after: Room 1,020, Nanxun Science and Technology Pioneering Park, No. 666 Chaoyang Road, Nanxun District, Huzhou City, Zhejiang Province, 313000 Patentee after: Huzhou You Yan Intellectual Property Service Co.,Ltd. Address before: 315211 Zhejiang Province, Ningbo Jiangbei District Fenghua Road No. 818 Patentee before: Ningbo University |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210525 Address after: 226600 Building 1, 8 Xiaoxing Avenue, Chengdong Town, Hai'an County, Nantong City, Jiangsu Province Patentee after: Jiangsu Maiwei Intelligent Technology Co.,Ltd. Address before: 313000 room 1020, science and Technology Pioneer Park, 666 Chaoyang Road, Nanxun Town, Nanxun District, Huzhou, Zhejiang. Patentee before: Huzhou You Yan Intellectual Property Service Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180130 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |