CN101610425A - 一种评测立体图像质量的方法和装置 - Google Patents

Abstract

本发明公开了一种评测立体图像质量的方法和装置，属于图像质量评测领域。所述方法包括：获取待评测立体图像的单视角图像；根据相邻两个视角的单视角图像的特征信息，计算所述相邻两个视角的单视角图像之间的相关度；根据所述相邻两个视角的单视角图像之间的相关度，对所述待评测立体图像进行质量评测。装置包括：单视角图像获取模块、相关度计算模块和质量评测模块。本发明能够客观评测立体图像的质量，符合人眼视觉系统通过融合纹理信息形成立体感的基本原理，填补了立体图像质量评测领域的空白；与平面图像质量评测方法相比，无需参考图像和模拟环境，具有快捷、高效的特点；与立体图像主观质量评测结果吻合，具有实效性与可行性。

Description

一种评测立体图像质量的方法和装置

技术领域

本发明涉及图像质量评测领域，特别涉及一种评测立体图像质量的方法和装置。

背景技术

立体图像与平面图像不同，立体图像包含了多个平面图像的视觉信息，每个平面图像对应了观测者在不同视角观察到的视觉内容。

获取立体图像的多视角信息有多种方法，可以通过摆设多个不同视角的摄像机进行拍摄获得，也可以通过现有图像及其对应的深度信息渲染得到其他视角的虚拟视图。立体图像的获取方法不同，立体图像的呈现质量也不同。因此，如何评测立体图像质量是一个很重要的问题。

目前，平面图像质量的评测系统已经比较成熟，参见图1，其评测过程如下：首先，一般由参考图像数据库101存储场景的参考图像；然后，环境仿真处理单元102模拟外部环境对图像的影响，对参考图像进行破坏；其次，ISP算法单元103利用预先存储的ISP(Image Signal Processing，图像信号处理)算法，对破坏后的参考图像进行还原处理；最后，质量评估单元104将还原后的参考图像与数据库中存储的参考图像进行比较，并根据比较结果得到质量评估结果。

然而，平面图像评测方法是对一个平面图像进行评测，而一幅立体图像是由多个平面图像按照一定的规则组成，单独评测组成立体图像的各个平面图像的质量，并不能综合反映立体图像的质量。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：现有的图像评测方法仅适用于平面图像，并不适用于立体图像，目前还没有适用于立体图像的质量评测方法。

发明内容

为了客观评测立体图像的质量，本发明实施例提供了一种评测立体图像质量的方法和装置。所述技术方案如下：

一种评测立体图像质量的方法，所述方法包括：

获取待评测立体图像的单视角图像；

根据相邻两个视角的单视角图像的特征信息，计算所述相邻两个视角的单视角图像之间的相关度；

根据所述相邻两个视角的单视角图像之间的相关度，对所述待评测立体图像进行质量评测。

其中，所述获取待评测立体图像的单视角图像包括：

根据所述待评测立体图像的像素排列规则，从所述待评测立体图像中提取属于同一单视角图像的像素；

将所述属于同一单视角图像的像素，根据预先设定的填充规则进行填充，得到相应的单视角图像。

其中，所述根据相邻两个视角的单视角图像的特征信息，计算所述相邻两个视角的单视角图像之间的相关度包括：

将所述相邻两个视角的单视角图像的特征像素点在所属单视角图像的水平坐标进行相减，得到所述特征像素点的视差，所述特征像素点为拐点或边缘像素点；

根据所述特征像素点的视差，计算所述相邻两个视角的单视角图像之间的相关度。

其中，所述根据所述特征像素点的视差，计算所述相邻两个视角的单视角图像之间的相关度包括：

计算所述相邻两个视角的单视角图像之间共有特征像素点的视差的和值；

分别计算所述相邻两个视角的单视角图像的特征像素点的视差的和值，并从中选取较大的和值；

将所述共有特征像素点的视差的和值除以所述较大的和值，其结果为所述相邻两个视角的单视角图像之间的相关度。

其中，所述根据所述相邻两个视角的单视角图像之间的相关度，对所述待评测立体图像进行质量评测包括：

根据预设的权值，对所述相邻两个视角的单视角图像之间的相关度进行加权求和，得到的和值为所述待评测立体图像的质量评测结果。

一种评测立体图像质量的装置，所述装置包括：

单视角图像获取模块，用于获取待评测立体图像的单视角图像；

相关度计算模块，用于根据所述单视角图像获取模块获取的相邻两个视角的单视角图像的特征信息，计算所述相邻两个视角的单视角图像之间的相关度；

质量评测模块，用于根据所述相关度计算模块得到的相邻两个视角的单视角图像之间的相关度，对所述待评测立体图像进行质量评测。

其中，所述单视角图像获取模块包括：

像素分解单元，用于根据所述待评测立体图像的像素排列规则，从所述待评测立体图像中提取属于同一单视角图像的像素；

图像重组单元，用于将所述像素分解单元得到的属于同一单视角图像的像素，根据预先设定的填充规则进行填充，得到相应的单视角图像。

其中，所述相关度计算模块包括：

视差计算单元，用于将所述相邻两个视角的单视角图像的特征像素点在所属单视角图像的水平坐标进行相减，得到所述特征像素点的视差，所述特征像素点为拐点或边缘像素点；

相关度计算单元，用于根据所述视差计算单元得到的特征像素点的视差，计算所述相邻两个视角的单视角图像之间的相关度。

其中，所述相关度计算单元具体用于：

计算所述相邻两个视角的单视角图像之间共有特征像素点的视差的和值；

分别计算所述相邻两个视角的单视角图像的特征像素点的视差的和值，并从中选取较大的和值；

将所述共有特征像素点的视差的和值除以所述较大的和值，其结果为所述相邻两个视角的单视角图像之间的相关度。

其中，所述质量评测模块具体用于：

根据预设的权值，对所述相关度计算模块得到的相邻两个视角的单视角图像之间的相关度进行加权求和，得到的和值为所述待评测立体图像的质量评测结果。

本发明实施例提供的技术方案的有益效果是：

通过计算单视角图像之间特征信息的相关性来客观评测立体图像的质量，符合人眼视觉系统通过融合纹理信息形成立体感的基本原理，填补了立体图像质量评测领域的空白；与平面图像质量评测方法相比，无需参考图像和模拟环境，具有快捷、高效的特点；并且与立体图像主观质量评测结果非常吻合，具有实效性与可行性。

附图说明

图1是现有技术提供的平面图像质量评测系统的结构示意图；

图2是本发明实施例1提供的评测立体图像质量的方法流程图；

图3是本发明实施例1提供的评测立体图像质量的另一方法流程图；

图4是本发明实施例2提供的评测立体图像质量的装置结构示意图；

图5是本发明实施例2提供的评测立体图像质量的另一装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例1

参见图2，本实施例提供了一种评测立体图像质量的方法，通过多个视角图像的特征信息来表征立体视觉融合产生深度感时所需的纹理信息，通过研究其相关性来衡量立体图像的质量，该方法具体包括：

201：获取待评测立体图像的单视角图像；

202：根据相邻两个视角的单视角图像的特征信息，计算该相邻两个视角的单视角图像之间的相关度；

其中，特征信息是指图像特征及其属性信息，图像特征包括边缘(或边缘像素点)、拐点(或角点)等，属性信息包括位置信息、空间频率信息等。

203：根据该相邻两个视角的单视角图像之间的相关度，对待评测立体图像进行质量评测。

本实施例提供的评测立体图像质量的方法，通过计算单视角图像之间特征信息的相关性来客观评测立体图像的质量，符合人眼视觉系统通过融合纹理信息形成立体感的基本原理，填补了立体图像质量评测领域的空白；与平面图像质量评测方法相比，无需参考图像和模拟环境，具有快捷、高效的特点；并且与立体图像主观质量评测结果非常吻合，具有实效性与可行性。

下面结合具体的实例，详细阐述如何应用单视角图像之间特征信息的相关性评测立体图像质量，具体流程参见图3所示。

301：获取待评测的立体图像，该立体图像由至少两张单视角图像按照一定的立体图像像素排列规则组成。

其中，立体图像可以由不同数目的单视角图像组成，立体图像可以是不同的分辨率。在本实施例中，待评测的立体图像由8个单视角图像按照一定的立体图像像素排列规则组成，立体图像分辨率为1360像素×768像素。

302：对该立体图像进行像素分解。

具体的，按照立体图像像素排列规则，从该立体图像中提取出属于同一单视角图像的像素。其中，本发明并不限定具体的立体图像像素排列规则。

在本实施例中，从立体图像中可以提取出8组像素，每一组像素分别对应一张单视角图像。

303：对分解的像素进行重组，得到相应的单视角图像。

具体的，按照预先设定的填充规则，将属于同一张单视角图像的像素进行填充，得到相应的单视角图像。其中，本发明并不限定具体的填充规则。

在本实施例中，将8组像素各自进行排列，并进行线性插值，得到8张1360像素×768像素的单视角图像。

304：提取出各个单视角图像的特征信息。

其中，特征信息是指图像特征及其属性信息，图像特征包括边缘(或边缘像素点)、拐点(或角点)等，属性信息包括位置信息、空间频率信息等。图像特征及其属性信息可以表征立体视觉融合产生深度感时所需的纹理信息。

具体的，在本实施例中，采用边缘检测算法，如Canny算法，并设定算法的检测阈值，提取单视角图像的边缘图像；采用拐点检测算法，如Harris算法，提取单视角图像的拐点。对于上述的特征像素点，通过立体匹配算法，如窗口匹配动态规划搜索法，得到特征像素点在相邻两个视角的单视角图像对应的匹配关系。

305：计算相邻两个视角的单视角图像之间特征像素点的视差。

其中，视差是指同一个空间点在不同视角图像上投影像素的水平坐标的差值，表征了场景点在人眼视觉系统中左右眼成像结果的距离偏差，是形成场景深度感的重要因素。

具体的，根据特征像素点(如边缘像素点或拐点)在相邻两个视角的单视角图像对应的匹配关系，将该特征像素点在所属单视角图像的水平坐标进行相减，其差值即为该特征像素点的视差。

306：根据特征像素点的视差，计算相邻两个视角的单视角图像之间的相关度。

具体的，计算相邻两个视角的单视角图像之间共有特征像素点(如边缘像素点或拐点)的视差的和值；分别计算相邻两个视角的单视角图像的特征像素点的视差的和值，并从中选取较大的和值；将共有特征像素点的视差的和值除以较大的和值，其结果为该相邻两个视角的单视角图像之间的相关度。该过程可用公式表示如下：

$v_{(i,i+1)}=\frac{\underset{j\∈E_i\∩E_{i+1}}{\mathrm{\Σ}}{D}_j}{\max \{\underset{j\∈E_i}{\mathrm{\Σ}}{D}_j,\underset{j\∈E_{i+1}}{\mathrm{\Σ}}{D}_j\}}---\left(1\right)$

其中，v_(i，i+1)表示第i张和第i+1张相邻两个单视角图像之间的相关度，为小于1、大于0的实数；E_i表示第i张单视角图像对应的特征图像(如边缘图像或拐点图像)；E_i+1表示第i+1张单视角图像对应的特征图像；E_i∩E_i+1表示第i张和第i+1张相邻两个单视角图像之间的共有特征像素点(如边缘像素点或拐点)；D_j表示第j个特征像素点(如边缘像素点或拐点)对应的视差；max{，}表示从二者中选取较大值。

在本实施例中，i＝1、2、3、4、5、6、7，即按照8张单视角图像的视角顺序，分别计算第(1，2)、(2，3)、(3，4)、(4，5)、(5，6)、(6，7)、(7，8)张单视角图像之间特征信息(如边缘信息或拐点信息)的相关性。

307：根据相邻两个视角的单视角图像之间的相关度，对立体图像进行质量评测。

具体的，根据预设的权值，对相邻两个视角的单视角图像之间的相关度进行加权求和，得到的和值为立体图像的质量评测结果，可以表征立体图像的质量。质量评测过程可以用公式表示如下：

$V=\underset{i}{\mathrm{\Σ}}{w}_{(i,i+1)}\×v_{(i,i+1)}---\left(2\right)$

其中，V表示立体图像的质量评测结果；w_(i，i+1)表示第i张和第i+1张相邻两个单视角图像之间的权值，权值表示单视角图像在立体图像中所处的视角位置对最终立体效果的影响，权值越大影响越大，权值越小影响越小；v_(i，i+1)表示第i张和第i+1张相邻两个单视角图像之间的相关度。

在本实施例中，因为中间视角的单视角图像，其特征信息的完整性对最终的立体效果有更加明显的影响，因此将i＝3、4、5的权值设为0.2，将i＝1、2、6、7的权值设为0.1。一般情况下，各权值的总和为1。则质量评测结果为：

$V=0.1\×\underset{i=\mathrm{1,2,6,7}}{\mathrm{\Σ}}{v}_{(i,i+1)}+0.2\×\underset{i=\mathrm{3,4,5}}{\mathrm{\Σ}}{v}_{(i,i+1)}---\left(3\right)$

经过上述步骤，就完成了立体图像质量的客观评测过程。通过与主观质量评测结果进行比较发现：本实施例提供的方法能够很好地吻合主观结果，符合人眼视觉系统通过融合纹理信息形成立体感的基本原理。

本实施例提供的评测立体图像质量的方法，通过计算单视角图像之间特征信息的相关性来客观评测立体图像的质量，符合人眼视觉系统通过融合纹理信息形成立体感的基本原理，填补了立体图像质量评测领域的空白；与平面图像质量评测方法相比，无需参考图像和模拟环境，具有快捷、高效的特点；并且与立体图像主观质量评测结果非常吻合，具有实效性与可行性。

实施例2

参见图4，本实施例提供了一种评测立体图像质量的装置，该装置包括：

单视角图像获取模块401，用于获取待评测立体图像的单视角图像；

相关度计算模块402，用于根据该单视角图像获取模块401获取的相邻两个视角的单视角图像的特征信息，计算该相邻两个视角的单视角图像之间的相关度；

其中，特征信息是指图像特征及其属性信息，图像特征包括边缘(或边缘像素点)、拐点(或角点)等，属性信息包括位置信息、空间频率信息等。图像特征及其属性信息可以表征立体视觉融合产生深度感时所需的纹理信息。

质量评测模块403，用于根据该相关度计算模块402得到的相邻两个视角的单视角图像之间的相关度，对该待评测立体图像进行质量评测。

其中，参见图5，该单视角图像获取模块401包括：

像素分解单元401a，用于根据该待评测立体图像的像素排列规则，从该待评测立体图像中提取属于同一单视角图像的像素；

图像重组单元401b，用于将该像素分解单元401a得到的属于同一单视角图像的像素，根据预先设定的填充规则进行填充，得到相应的单视角图像。

其中，该相关度计算模块402包括：

视差计算单元402a，用于将该相邻两个视角的单视角图像的特征像素点在所属单视角图像的水平坐标进行相减，得到该特征像素点的视差，其中，特征像素点为拐点或边缘像素点；

具体的，采用边缘检测算法，如Canny算法，并设定算法的检测阈值，提取单视角图像的边缘图像；采用拐点检测算法，如Harris算法，提取单视角图像的拐点。对于上述的特征像素点，通过立体匹配算法，如窗口匹配动态规划搜索法，得到特征像素点在相邻两个视角的单视角图像对应的匹配关系。

相关度计算单元402b，用于根据该视差计算单元402a得到的特征像素点的视差，计算该相邻两个视角的单视角图像之间的相关度。

其中，该相关度计算单元402b具体用于：

计算该相邻两个视角的单视角图像之间共有特征像素点的视差的和值；分别计算该相邻两个视角的单视角图像的特征像素点的视差的和值，并从中选取较大的和值；将该共有特征像素点的视差的和值除以该较大的和值，其结果为该相邻两个视角的单视角图像之间的相关度。该过程可用实施例1中的公式(1)表示，详见实施例1，这里不再赘述。

其中，该质量评测模块403具体用于：

根据预设的权值，对该相关度计算模块402得到的相邻两个视角的单视角图像之间的相关度进行加权求和，得到的和值为该待评测立体图像的质量评测结果。质量评测过程可以用实施例1中的公式(2)表示，详见实施例1，这里不再赘述。

需要说明的是，对于立体图像分解所需的立体图像像素排列规则、重组图像所需的填充规则、提取特征信息所需的检测阈值、质量评测所需的权值等参数信息，可以如本实施例一样放置于不同的功能模块或单元中，也可以集中放置于一个功能模块或单元中，例如控制模块，由其统一管理参数的设定、分配及传输工作。对于此类情况，也应属于本发明保护范围之内。

本实施例提供的装置与方法实施例属于同一构思，其具体的实现过程详见方法实施例，在此不再赘述。

本实施例提供的评测立体图像质量的装置，通过计算单视角图像之间特征信息的相关性来客观评测立体图像的质量，符合人眼视觉系统通过融合纹理信息形成立体感的基本原理，填补了立体图像质量评测领域的空白；与平面图像质量评测方法相比，无需参考图像和模拟环境，具有快捷、高效的特点；并且与立体图像主观质量评测结果非常吻合，具有实效性与可行性。

以上实施例提供的技术方案中的全部或部分内容可以通过软件编程实现，其软件程序存储在可读取的存储介质中，存储介质例如：计算机中的硬盘、光盘或软盘。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1、一种评测立体图像质量的方法，其特征在于，所述方法包括：

获取待评测立体图像的单视角图像；

根据相邻两个视角的单视角图像的特征信息，计算所述相邻两个视角的单视角图像之间的相关度；

根据所述相邻两个视角的单视角图像之间的相关度，对所述待评测立体图像进行质量评测。

2、如权利要求1所述的方法，其特征在于，所述获取待评测立体图像的单视角图像包括：

根据所述待评测立体图像的像素排列规则，从所述待评测立体图像中提取属于同一单视角图像的像素；

将所述属于同一单视角图像的像素，根据预先设定的填充规则进行填充，得到相应的单视角图像。

3、如权利要求1所述的方法，其特征在于，所述根据相邻两个视角的单视角图像的特征信息，计算所述相邻两个视角的单视角图像之间的相关度包括：

将所述相邻两个视角的单视角图像的特征像素点在所属单视角图像的水平坐标进行相减，得到所述特征像素点的视差，所述特征像素点为拐点或边缘像素点；

根据所述特征像素点的视差，计算所述相邻两个视角的单视角图像之间的相关度。

4、如权利要求3所述的方法，其特征在于，所述根据所述特征像素点的视差，计算所述相邻两个视角的单视角图像之间的相关度包括：

计算所述相邻两个视角的单视角图像之间共有特征像素点的视差的和值；

分别计算所述相邻两个视角的单视角图像的特征像素点的视差的和值，并从中选取较大的和值；

将所述共有特征像素点的视差的和值除以所述较大的和值，其结果为所述相邻两个视角的单视角图像之间的相关度。

5、如权利要求1所述的方法，其特征在于，所述根据所述相邻两个视角的单视角图像之间的相关度，对所述待评测立体图像进行质量评测包括：

根据预设的权值，对所述相邻两个视角的单视角图像之间的相关度进行加权求和，得到的和值为所述待评测立体图像的质量评测结果。

6、一种评测立体图像质量的装置，其特征在于，所述装置包括：

单视角图像获取模块，用于获取待评测立体图像的单视角图像；

相关度计算模块，用于根据所述单视角图像获取模块获取的相邻两个视角的单视角图像的特征信息，计算所述相邻两个视角的单视角图像之间的相关度；

质量评测模块，用于根据所述相关度计算模块得到的相邻两个视角的单视角图像之间的相关度，对所述待评测立体图像进行质量评测。

7、如权利要求6所述的装置，其特征在于，所述单视角图像获取模块包括：

像素分解单元，用于根据所述待评测立体图像的像素排列规则，从所述待评测立体图像中提取属于同一单视角图像的像素；

图像重组单元，用于将所述像素分解单元得到的属于同一单视角图像的像素，根据预先设定的填充规则进行填充，得到相应的单视角图像。

8、如权利要求6所述的装置，其特征在于，所述相关度计算模块包括：

视差计算单元，用于将所述相邻两个视角的单视角图像的特征像素点在所属单视角图像的水平坐标进行相减，得到所述特征像素点的视差，所述特征像素点为拐点或边缘像素点；

相关度计算单元，用于根据所述视差计算单元得到的特征像素点的视差，计算所述相邻两个视角的单视角图像之间的相关度。

9、如权利要求8所述的装置，其特征在于，所述相关度计算单元具体用于：

计算所述相邻两个视角的单视角图像之间共有特征像素点的视差的和值；

分别计算所述相邻两个视角的单视角图像的特征像素点的视差的和值，并从中选取较大的和值；

将所述共有特征像素点的视差的和值除以所述较大的和值，其结果为所述相邻两个视角的单视角图像之间的相关度。

10、如权利要求6所述的装置，其特征在于，所述质量评测模块具体用于：

根据预设的权值，对所述相关度计算模块得到的相邻两个视角的单视角图像之间的相关度进行加权求和，得到的和值为所述待评测立体图像的质量评测结果。

Images