CN115115551B - 一种基于卷积字典的视差图修复方法 - Google Patents

Abstract

本发明涉及一种基于卷积字典的视差图修复方法，属于图形图像处理领域。本发明的修复方法的流程为：二维视差图卷积字典学习、M矩阵估计、视差图修复三个步骤。与常用的基于均值滤波的视差图修复方法相比，本发明提出的技术方案能够利用卷积稀疏编码对视差图学习得到的卷积字典进行修复，该修复方法利用卷积字典中提取到的视差图的图像特征，同时根据空洞大小使用多尺度卷积字典进行视差图修复，在这种机制下能够对视差图的空洞进行较为精确的修复。

Description

一种基于卷积字典的视差图修复方法

技术领域

本发明属于图形图像处理领域，具体涉及一种基于卷积字典的视差图修复方法。

背景技术

双目立体视觉是基于视差原理利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。通过视差图利用相机参数得到的深度图具有广泛的应用，可以用于距离测量、三维重建、虚拟视点生成等方面。传统的双目立体匹配算法通过将左右视图中的像素点进行匹配来得到视差，但是由于遮挡、无纹理区域的存在，会导致有一些像素点无法匹配，最终生成的视差图中会有很多空洞，这些空洞会影响基于视差图应用的准确度。目前对于视差图的空洞填充常采用多层次均值滤波的方法，首先使用较大的窗口做均值滤波，填充大的空洞，然后将窗口尺寸进行缩小，填充较小空洞。多层均值滤波方法的滤波器采用的结构为如图1所示，该滤波器没有包含任何的特征信息，导致多层均值滤波之后的视差图的每个像素的精确度较低，这会严重影响基于精确视差图的应用，例如基于深度图的三维重建算法会因像素的准确度不够而导致最终重建的三维模型发生形变。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是如何提供一种基于卷积字典的视差图修复方法，以解决传统的双目立体匹配算法生成的视差图中会有很多空洞，采用多层次均值滤波的方法进行空洞填充之后的视差图的每个像素的精确度较低，严重影响基于精确视差图的应用的问题。

(二)技术方案

为了解决上述技术问题，本发明提出一种基于卷积字典的视差图修复方法，其特征在于，该方法包括如下步骤：

S1、二维视差图卷积字典学习

使用视差图数据集中的视差图进行卷积字典学习得到二维视差图卷积字典，其中卷积字典学习算法的表达式为，

包括一个数据项和一个正则化项，求解字典{d_k}和稀疏系数{z_j,k}，j表示图像的编号，j＝1,…,J，k表示字典d的编号，k＝1,…,K；其中b为训练图像，*为卷积操作，矩阵M用来消除边界影响，其中λ为稀疏正则化约束的惩罚因子；

S2、M矩阵估计

根据待修复视差图中的空洞位置来确定矩阵M，首先将视差图中视差不为0的像素位置置1，视差为0的像素位置置0，然后通过动态规划的方法得到每个像素为0的位置距离最近的像素不为0的位置的最短距离，进而得到一个空洞程度图，空洞程度图中的值的大小为视差空洞距离有视差位置像素的远近的空洞程度图，对空洞程度图中的像素值进行设置获得视差图修复的M矩阵；

S3、视差图修复

使用卷积字典对待修复视差图进行卷积稀疏编码，公式为，

固定字典D来求解稀疏系数z，通过增广拉格朗日方法来进行迭代求解，最终字典D和稀疏系数z的卷积即为修复之后的视差图；其中，定义字典矩阵为包含向量化的字典{d_k}，稀疏向量表示为/>包含稀疏系数{z_j,k}，M₁,…,M_J相同，均为公式(1)中的M，/>包含训练图像{b_j}。

进一步地，所述步骤S1中的视差图数据集为Middlebury视差图数据集。

进一步地，所述步骤S1中的公式(1)是双凸问题，使用交替方向乘子法进行求解，固定字典{d_k}来求解稀疏系数{z_j,k}，固定稀疏系数{z_j,k}来求解字典{d_k}。

进一步地，通过交替方向乘子法对视差图数据集进行学习，通过设置字典{d_k}的尺寸为7×7×100、11×11×100、15×15×100，来学习不同尺度的卷积字典。

进一步地，所述步骤S2中，根据空洞程度图，对该图中的像素进行分类，共分为像素值小于等于5、值大于5小于等于10、值大于10的三类。

进一步地，将空洞程度图中的第一类像素值置为0，其他置为1，作为使用7×7×100字典进行视差图修复的M矩阵，第一类像素为像素值小于等于5的像素。

进一步地，将空洞程度图中的第二类像素值置为0，其他置为1，作为使用11×11×100字典进行视差图修复的M矩阵，第二类像素为像素值大于5小于等于10的像素。

进一步地，将空洞程度图中的第三类像素值置为0，其他置为1，作为使用15×15×100字典进行视差图修复的M矩阵，第三类像素为像素值大于10的像素。

进一步地，所述步骤S3中，依次使用三种尺度的卷积字典对待修复视差图进行卷积稀疏编码，使用三种尺度的卷积字典进行卷积稀疏编码的过程一致。

进一步地，所述步骤S3中，使用交替方向乘子法ADMM算法进行求解公式(2)，通过引入辅助变量s＝Dz和t＝z,公式(2)中的z子问题的增广拉格朗日函数表示为，

其中N(t)＝λ||t||₁,α_z、β_z为需要求解的参数，ρ_α,ρ_β是惩罚因子，定义ρ_z＝ρ_β/ρ_α，具体的求解过程为，

S31、首先对D进行FFT变换；对每一个频域下标l构建L表示的是每个小字典d的长度，字典D包含的是K个L*L大小的字典，D的尺寸为KL*KL的稀疏矩阵，在求解的过程中对D进行变量重排为L个K*K的矩阵进行求解；

S32、令i＝1到V，对变量sⁱ,tⁱ,进行FFT变换为/>

S33、使用矩阵逆引理对每个下标l和每个样本j求解其中/>和/>都是常数；

其中，H表示转置；

S34、进行反傅里叶变换

S35、求解sⁱ⁺¹,其中M是对角矩阵，

其中，I为单位矩阵；

S36、使用软阈值函数对tⁱ⁺¹进行求解：

S37、更新和/>其中j＝1,…,J，

通过交替迭代的方法进行变量求解，得到稀疏系数z，通过卷积字典D和稀疏系数z的卷积得到最终的修复后的视差图。

(三)有益效果

本发明提出一种基于卷积字典的视差图修复方法，与常用的基于均值滤波的视差图修复方法相比，本发明提出的技术方案能够利用卷积稀疏编码对视差图学习得到的卷积字典进行修复，该修复方法利用卷积字典中提取到的视差图的图像特征，同时根据空洞大小使用多尺度卷积字典进行视差图修复，在这种机制下能够对视差图的空洞进行较为精确的修复。

附图说明

图1为均值滤波器示意图；

图2为二维视差图卷积字典示意图；

图3为基于卷积字典的视差图修复示意图。

具体实施方式

为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

本发明的目的就是提出一种利用卷积字典的视差图修复方法，以解决传统的双目立体匹配算法生成的视差图中会有很多空洞，采用多层次均值滤波的方法进行空洞填充之后的视差图的每个像素的精确度较低，严重影响基于精确视差图的应用的问题。本发明能够利用滤波器中提取到的图像特征来进行较为精确的视差图修复。

本发明提出一种基于卷积字典的视差图修复方法，该方法包括如下步骤：

S1、二维视差图卷积字典学习

使用视差图数据集中的视差图进行卷积字典学习得到二维视差图卷积字典，其中卷积字典学习算法的表达式为，

包括一个数据项和一个正则化项，求解字典{d_k}和稀疏系数{z_j,k}，j表示图像的编号，j＝1,…,J，k表示字典d的编号，k＝1,…,K；其中b为训练图像，*为卷积操作，矩阵M用来消除边界影响，其中λ为稀疏正则化约束的惩罚因子；

S2、M矩阵估计

根据待修复视差图中的空洞位置来确定矩阵M，首先将视差图中视差不为0的像素位置置1，视差为0的像素位置置0，然后通过动态规划的方法得到每个像素为0的位置距离最近的像素不为0的位置的最短距离，进而得到一个空洞程度图，空洞程度图中的值的大小为视差空洞距离有视差位置像素的远近的空洞程度图，对空洞程度图中的像素值进行设置获得视差图修复的M矩阵；

S3、视差图修复

使用卷积字典对待修复视差图进行卷积稀疏编码，公式为，

固定字典D来求解稀疏系数z，通过增广拉格朗日方法来进行迭代求解，最终字典D和稀疏系数z的卷积即为修复之后的视差图；其中，定义字典矩阵为包含向量化的字典{d_k}，稀疏向量表示为/>包含稀疏系数{z_j,k}，M₁,…,M_J相同，均为公式(1)中的M，/>包含训练图像{b_j}。

进一步地，所述步骤S1中的视差图数据集为Middlebury视差图数据集。

进一步地，所述步骤S1中的公式(1)是双凸问题，使用交替方向乘子法进行求解，固定字典{d_k}来求解稀疏系数{z_j,k}，固定稀疏系数{z_j,k}来求解字典{d_k}。

进一步地，通过交替方向乘子法对视差图数据集进行学习，通过设置字典{d_k}的尺寸为7×7×100、11×11×100、15×15×100，来学习不同尺度的卷积字典。

进一步地，所述步骤S2中，根据空洞程度图，对该图中的像素进行分类，共分为像素值小于等于5、值大于5小于等于10、值大于10的三类。

进一步地，将空洞程度图中的第一类像素值置为0，其他置为1，作为使用7×7×100字典进行视差图修复的M矩阵，第一类像素为像素值小于等于5的像素。

进一步地，将空洞程度图中的第二类像素值置为0，其他置为1，作为使用11×11×100字典进行视差图修复的M矩阵，第二类像素为像素值大于5小于等于10的像素。

进一步地，将空洞程度图中的第三类像素值置为0，其他置为1，作为使用15×15×100字典进行视差图修复的M矩阵，第三类像素为像素值大于10的像素。

进一步地，所述步骤S3中，依次使用三种尺度的卷积字典对待修复视差图进行卷积稀疏编码，使用三种尺度的卷积字典进行卷积稀疏编码的过程一致。

进一步地，所述步骤S3中，使用交替方向乘子法ADMM算法进行求解公式(2)。

实施例1：

本发明提出的基于卷积字典的视差图修复方法的流程为：二维视差图卷积字典学习、M矩阵估计、视差图修复三个步骤，具体如下：

S1、二维视差图卷积字典学习。使用视差图数据集中的视差图进行卷积字典学习得到二维视差图卷积字典，其中卷积字典学习算法的表达式为，

包括一个数据项和一个正则化项，求解字典{d_k}和稀疏系数{z_j,k}，j表示图像的编号，j＝1,…,J，k表示字典d的编号，k＝1,…,K；其中b为训练图像，*为卷积操作，矩阵M用来消除边界影响，其中λ为稀疏正则化约束的惩罚因子。这是一个双凸问题，使用交替方向乘子法进行求解，固定字典{d_k}来求解稀疏系数{z_j,k}，固定稀疏系数{z_j,k}来求解字典{d_k}。通过该方法对视差图数据集进行学习，通过设置字典{d_k}的尺寸为7×7×100、11×11×100、15×15×100，来学习不同尺度的卷积字典，其中二维视差图的卷积字典如图2所示。

S2、M矩阵估计。根据待修复视差图中的空洞位置来确定矩阵M，首先将视差图中视差不为0的像素位置置1，视差为0的像素位置置0，然后通过动态规划的方法得到每个像素为0的位置距离最近的像素不为0的位置的最短距离，这样可以得到一个空洞程度图，空洞程度图中的值的大小为视差空洞距离有视差位置像素的远近的空洞程度图。根据空洞程度图，对该图中的像素进行分类，共分为像素值小于等于5、值大于5小于等于10、值大于10的三类，其中第一类像素值置为0，其他置为1，作为使用7×7×100字典进行视差图修复的M矩阵；第二类像素值置为0，其他置为1，作为使用11×11×100字典进行视差图修复的M矩阵；第三类像素值置为0，其他置为1，作为使用15×15×100字典进行视差图修复的M矩阵。

S3、视差图修复。依次使用三种尺度的卷积字典对待修复视差图进行卷积稀疏编码，使用三种尺度的卷积字典进行卷积稀疏编码的过程一致，公式为，

固定字典D来求解稀疏系数z，这个一个凸问题，可以通过增广拉格朗日方法来进行迭代求解，最终字典D和稀疏系数z的卷积即为修复之后的视差图。定义字典矩阵为包含向量化的字典{d_k}，稀疏向量表示为/>[z₁；…z_J]，包含稀疏系数{z_j,k}，/>M₁,…,M_J相同，均为公式1中的M，/>包含训练图像{b_j}。

本发明使用交替方向乘子法ADMM算法进行求解公式(2)，通过引入辅助变量s＝Dz和t＝z,公式(2)中的z子问题的增广拉格朗日函数可以表示为，

其中N(t)＝λ||t||₁,α_z、β_z为需要求解的参数，ρ_α,ρ_β是惩罚因子，定义ρ_z＝ρ_β/ρ_α，具体的求解过程为，

S31、首先对D进行FFT变换；对每一个频域下标l构建L表示的是每个小字典d的长度，字典D包含的是K个L*L大小的字典，D的尺寸为KL*KL的稀疏矩阵，在求解的过程中对D进行变量重排为L个K*K的矩阵进行求解。

S32、令i＝1到V，对变量sⁱ,tⁱ,进行FFT变换为/>

S33、使用矩阵逆引理对每个下标l和每个样本j求解其中/>和/>都是常数。

其中，H表示转置；

S34、进行反傅里叶变换

S35、求解sⁱ⁺¹,其中M是对角矩阵，

其中，I为单位矩阵；

S36、使用软阈值函数对tⁱ⁺¹进行求解：

S37、更新和/>其中j＝1,…,J，

通过交替迭代的方法进行变量求解，得到稀疏系数z，通过卷积字典D和稀疏系数z的卷积可以得到最终的修复后的视差图。

为了验证该方法的有效性，使用了真实场景的实验数据进行验证，具体如图3所示，其中(a)为输入的左右视图，通过传统的双目立体匹配算法得到的视差图结果为(c)所示，可以看到(c)中包含了大量的空洞。使用本方法进行修复，首先使用卷积字典学习算法对Middlebury视差图数据集进行学习，得到视差图字典，然后使用该视差图字典通过稀疏编码的方式对带有空洞的视差图(c)进行稀疏编码，最终得到修复之后的视差图(d)。

以上所示为本发明的视差图修复方法流程，以上采用的用于视差图修复的方法和策略是本发明的保护范围。

与常用的基于均值滤波的视差图修复方法相比，本发明提出的技术方案能够利用卷积稀疏编码对视差图学习得到的卷积字典进行修复，该修复方法利用卷积字典中提取到的视差图的图像特征，同时根据空洞大小使用多尺度卷积字典进行视差图修复，在这种机制下能够对视差图的空洞进行较为精确的修复。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于卷积字典的视差图修复方法，其特征在于，该方法包括如下步骤：

S1、二维视差图卷积字典学习

使用视差图数据集中的视差图进行卷积字典学习得到二维视差图卷积字典，其中卷积字典学习算法的表达式为，

包括一个数据项和一个正则化项，求解字典{d_k}和稀疏系数{z_j,k}，j表示图像的编号，j＝1,…,J，k表示字典d的编号，k＝1,…,K；其中b为训练图像，*为卷积操作，矩阵M用来消除边界影响，其中λ为稀疏正则化约束的惩罚因子；

S2、M矩阵估计

根据待修复视差图中的空洞位置来确定矩阵M，首先将视差图中视差不为0的像素位置置1，视差为0的像素位置置0，然后通过动态规划的方法得到每个像素为0的位置距离最近的像素不为0的位置的最短距离，进而得到一个空洞程度图，空洞程度图中的值的大小为视差空洞距离有视差位置像素的远近的空洞程度图，对空洞程度图中的像素值进行设置获得视差图修复的M矩阵；

S3、视差图修复

使用卷积字典对待修复视差图进行卷积稀疏编码，公式为，

固定字典D来求解稀疏系数z，通过增广拉格朗日方法来进行迭代求解，最终字典D和稀疏系数z的卷积即为修复之后的视差图；其中，定义字典矩阵为包含向量化的字典{d_k}，稀疏向量表示为/>包含稀疏系数{z_j,k}，M₁,…,M_J相同，均为公式(1)中的M，/>包含训练图像{b_j}。

2.如权利要求1所述的基于卷积字典的视差图修复方法，其特征在于，所述步骤S1中的视差图数据集为Middlebury视差图数据集。

3.如权利要求1所述的基于卷积字典的视差图修复方法，其特征在于，所述步骤S1中的公式(1)是双凸问题，使用交替方向乘子法进行求解，固定字典{d_k}来求解稀疏系数{z_j,k}，固定稀疏系数{z_j,k}来求解字典{d_k}。

4.如权利要求3所述的基于卷积字典的视差图修复方法，其特征在于，通过交替方向乘子法对视差图数据集进行学习，通过设置字典{d_k}的尺寸为7×7×100、11×11×100、15×15×100，来学习不同尺度的卷积字典。

5.如权利要求4所述的基于卷积字典的视差图修复方法，其特征在于，所述步骤S2中，根据空洞程度图，对该图中的像素进行分类，共分为像素值小于等于5、值大于5小于等于10、值大于10的三类。

6.如权利要求5所述的基于卷积字典的视差图修复方法，其特征在于，将空洞程度图中的第一类像素值置为0，其他置为1，作为使用7×7×100字典进行视差图修复的M矩阵，第一类像素为像素值小于等于5的像素。

7.如权利要求5所述的基于卷积字典的视差图修复方法，其特征在于，将空洞程度图中的第二类像素值置为0，其他置为1，作为使用11×11×100字典进行视差图修复的M矩阵，第二类像素为像素值大于5小于等于10的像素。

8.如权利要求5所述的基于卷积字典的视差图修复方法，其特征在于，将空洞程度图中的第三类像素值置为0，其他置为1，作为使用15×15×100字典进行视差图修复的M矩阵，第三类像素为像素值大于10的像素。

9.如权利要求4-8任一项所述的基于卷积字典的视差图修复方法，其特征在于，所述步骤S3中，依次使用三种尺度的卷积字典对待修复视差图进行卷积稀疏编码，使用三种尺度的卷积字典进行卷积稀疏编码的过程一致。

10.如权利要求9所述的基于卷积字典的视差图修复方法，其特征在于，所述步骤S3中，使用交替方向乘子法ADMM算法进行求解公式(2)，通过引入辅助变量s＝Dz和t＝z,公式(2)中的z子问题的增广拉格朗日函数表示为，

其中N(t)＝λ||t||₁,α_z、β_z为需要求解的参数，ρ_α,ρ_β是惩罚因子，定义ρ_z＝ρ_β/ρ_α，具体的求解过程为，

S31、首先对D进行FFT变换；对每一个频域下标l构建L表示的是每个小字典d的长度，字典D包含的是K个L*L大小的字典，D的尺寸为KL*KL的稀疏矩阵，在求解的过程中对D进行变量重排为L个K*K的矩阵进行求解；

S32、令i＝1到V，对变量sⁱ,tⁱ,进行FFT变换为/>

S33、使用矩阵逆引理对每个下标l和每个样本j求解其中/>和/>都是常数；

其中，H表示转置；

S34、进行反傅里叶变换

S35、求解sⁱ⁺¹,其中M是对角矩阵，

其中，I为单位矩阵；

S36、使用软阈值函数对tⁱ⁺¹进行求解：

S37、更新和/>其中j＝1,…,J，

通过交替迭代的方法进行变量求解，得到稀疏系数z，通过卷积字典D和稀疏系数z的卷积得到最终的修复后的视差图。