CN110610476A - 一种视差图质量评估方法 - Google Patents

Abstract

本发明公开了一种双目立体匹配视差图质量评定方法，可以用在计算机立体匹配领域。主要用于相机受光线以及当有物体靠近双目较近时，传统视差结果会出现较多误差，视差结果将不可靠。发明通过结合部分参考和无参考方法，将深度图与灰度图建立反馈系统，利用灰度图中的特征几何判断深度图误差区域作为判断深度图质量依据。

Description

一种视差图质量评估方法

技术领域

本发明涉及双目立体匹配视差图质量评定方法，属于计算机视觉领域特别是双目视觉领域。

背景技术

图像质量评价（Image Quality Assessment,IQA）一直是研究的主要热点研究领域，在整个图像质量评价体系中一般分为客观图像评价和主观图像评价,主观评价需要依靠人或者其他第三方工具进行进行判断，对工具较为依赖具有成本高，主要有平均主观分值法（MOS）和差分主观分值法（DMOS），主观评价需要组织相应人力对图像质量进行判定，其结果很容易收到个人主观因素影响，随着图像数量几何递增时，该方法就极为耗时，不利于实际工程实践。而客户评价主要使用一个或者多个图像度量指标，通过建立图像质量相关数学模型通算法自动计算得出图像质量，最终使其评判结果与人主观评价相一致。Wang Z,BOVIK AC等人在‘Image quality assessment:From error visibility to structuralsimilarity[J]’中将客观质量评价分为 全参考方法（FR）,部分参考方法（RR）,无参考方法（NR）三种。FR需要原始图像作为评价的主要参考，经过几十年的发展，已形成较完整的理论体系和成熟的评价框架，待评价图像信号的质量可以通过与原始图像信号相比之后获得的误差信号来进行质量分析，图像质量的下降与误差信号的强弱相关。部分参考评价方法只需提取部分原始图像数据用于评价，相对于全参考评价方法，这种方法灵活性强，适用范围广泛，具有传输数据量小，可靠性高等特点，受到了越来越多人的关注，更具研究价值。最后NR不需要借助任何参考图像，依靠待评价本身各种信息进行质量评价，相对于全参考和质降参考评价方法，无参考评价方法的研究仍处于起步阶段。目前，无参考图像失真度量一般是针对某一种或几种类型的失真，如模糊效应、分块效应、噪声效应等。随着自动驾驶等AI领域发展，双目立体图像质量评价（Stereoscopic Image Quality Assessment, SIQA）成为计算机视觉领域中的热点和难点之一，目前针对专门立体图像质量客观评价方法研究较少。Patrizio , Patrick等人在‘Stereoscopic Images Quality Assessment[j]’将一些现有的平面图像的客观评价指标如SSIM(Structural SIMilarity),C4, UQI(UniversalQuality Index)以及RRIQA(Redeuced Refernce Image Quality Assessment)用于立体图像中的质量评价。立体图像与平面图像不同之处，立体感产生的原因主要是来自于左右图像的视差，当前主要针对立体图像质量评价的标准是衡量待评价左右视差图对参考图像的相关性或差异性，Wang Z,BOVIK AC等人提出，将平面图像质量评价指标与视差失真结合起来，提出了一种针对立体图像质量的客观评价方法，其中视差失真的表征是通过计算参考图像对和评价图像对深度图的相关系数的方法，将深度图的相关系数作为一个评价指标。LIN等人在’Quality assessment of stereoscopic 3D image compression bybinocular integration behaviors[J]’中指出一种基于频带联合的SIQA方法，利用高斯差分（Difference of Gaussian， DOG）的多频带分解和立体视觉的双目特性。该文献中将立体图像对的左右眼视图分别采用SSIM进行评价，然后与深度失真信息玩加权，得到最终结果，具体两种做法：采用局部视差失真法和总体视差失真法。Pieter J．H．Setmtiens．Visual Experience of 3D TV[J]，Eindhoven University Press Facilffies指出提出了深度，自然度，表现度和感观四个评价指标来针对立体图像进行主观评价。杨嘉琛等在基于PSNR立体图像质量客观评价方法[J]，提出了一种立体图像质量评价方法。具体做法是：首先对图像质量进行客观评价(单眼平面图像评价)，即借鉴平面图像质量评价的PSNR方法；然后，进行视点对之间立体感觉客观评价，这部分利用差值图来对立体感觉进行客观评价。CN201711003045.4中指出一种基于视觉感知和双目竞争的无参考立体图像质量评价方法，本方法首先将输入立体图像对转化为灰度信息，对灰度信息利用匹配算法得到立体图像对的模拟视差图和不确定性图，同时利用灰度信息及其滤波响应和模拟视差图校正合成单眼图像。其次，将得到的单眼图像和不确定性图在不同尺度空间和频率空间上进行高斯差分处理，并提取自然场景统计和视觉感知特征向量。然后，利用支持向量机和BP神经网络分别对特征进行训练，得到预测模型，应用预测模型和测试及对应的特征向量，进行质量预测和评估。该在融合单眼图像过程中会存在较大误差，由于存在预评估准确的问题，因此对最终的质量预测存在一定程度误差。本发明主要对立体匹配结果视差质量结果进行评估，结合部分参考和无参考方法对双目匹配过程中较近物体进行或者存在全亮部分产生的误差进行判断，同时具有高实时性。

发明内容

双目匹配过程中，受基线影响当有物体靠近双目较近时，匹配视差结果将会有较大误差，以及在光线较强时出现部分全白或者全亮时也会产生较大误差，当视差结果因上述两种误差较多时，视差结果将不可靠。本发明通过结合部分参考和无参考方法，将深度图与灰度图建立反馈系统，利用灰度图中的特征几何判断深度图误差区域作为判断深度图质量依据。

附图说明

图1 本专利算法框架说明。

图2 本专利无参考评价算法。

图3 本专利有参考评价算法。

具体实施

为了解决上述主要难点，首先利用无参考方法进行深度图像的自我判定，根据双目匹配和代价聚合结果的每个像素点相应深度的，则可根据下面公式自我判断处

其中i为 ,D为视差范围，和分别为像素点p中的cost值的最小与最大值,T为最大值与最小值阈值。当物体靠近时或者出现遮挡物时，值在所有视差范围之内的cost值将会突变非常小，其最小值将远远小于其他视差范围的值，此时其视差将变得非常不可靠。当灰度图像中无明显纹理或者白区时，当所有视差范围内的cost值出现上下波动，与绝对值将会分别远离其平均值，则该值点也被认为是误差点。经过上述无参考方法，深度图能够自我初步判断出误差像素点，并进行一个初步统计。

上述无参数自我判断只能对离散的误差视差进行判断，当成较大区域出现一片误差时对实际影响将会造成非常严重结果,自我判断无法对该整个区域进行判断。

当物体较近时，双目匹配由于基线等原因整体视差将会是不可靠，需要结合灰度图中特征提取办法对该情况整体判断。在立体匹配中，左右灰度图像的绝对值图（AbsoluteDifference Map, ADM）在一定程度上能反映立体感知的特点，因此可以使用ADM作为对视差结果一个客观评价方法。

立体图像中的绝对差值可以表示为：

是左灰度图，是右灰度图， 为两幅图像的绝对值图可以得出ADM为单幅图像的近似轮廓线，其遵循高斯特性，图像特征不同，其高斯模型参数均值和方差也相应不同，对ADM进行归一化之后：

其中为形状参数，为方差，将(）作为特征。

将所提出特征与视差图做比较，白片区域将无明显特征，物体靠近时视差也不会又明显特征

Err

当视差点在特征区域内其为0,特征区域外为1，最终结合自我判断部分

最终根据统计误差像素点出，得出图像质量百分比

其中所有像素误差点数。

Claims (1)

1.一种视差图质量评估方法，是一种对双目立体视觉匹配结果的判断，其步骤主要包含无参考和部分参考方法相结合方法，根据双目立体匹配结果进行自我判定，通过对每个像素点视差范围内的代价离散程度进行判定，超过离散阈值视差结果将会被评估为误差，当物体较近时将会出现整块质量较差，需要结合灰度图中特征提取进行判定，通过对左右灰度图像的绝对值图得出单幅图像的近似轮廓线，进一步对绝对值图进行归一化，得出较为准确轮廓图形，将提出特征与视差结果相比较，特征图像之外的视差判定为明显误差结果，最后，将无参考和部分参考判定结果相结合，计算得出最后图像质量评价结果。