CN101808251A

CN101808251A - 立体图像对中遮挡信息的提取方法

Info

Publication number: CN101808251A
Application number: CN 201010141105
Authority: CN
Inventors: 席明; 杨青青; 薛玖飞; 李东晓; 张明
Original assignee: Zhejiang University ZJU
Current assignee: Wan D display technology (Shenzhen) Co., Ltd.
Priority date: 2010-04-06
Filing date: 2010-04-06
Publication date: 2010-08-18
Anticipated expiration: 2030-04-06
Also published as: CN101808251B

Abstract

本发明公开了一种立体图像对中遮挡信息的提取方法，包括以下步骤：(1)对待处理的左右视点立体图像对，分别以左右图像为主视点图像，另一图像为辅助视点图像进行立体匹配，得到左右视差图像；(2)根据左视差图像，将左视点图像坐标系中的像素点映射至右视点图像坐标系中，建立左右图像对中像素点之间的对应关系；(3)提取右视点图像中在左视点图像中没有对应映射点的像素点，作为右视点的残余图像；(4)根据右视差图像，将右视点残余图像中的像素点映射至左视点图像坐标系中，得到左视点位置的右视点图像中的遮挡信息。本发明可以快速准确地获得立体图像对中的遮挡信息，极大地减少了立体图像对的数据量，节约了数据传输的带宽资源。

Description

立体图像对中遮挡信息的提取方法

技术领域

本发明涉及用于遮挡信息的提取方法，尤其涉及一种立体图像对中遮挡信息的提取方法。

背景技术

根据拍摄场景中物体在左右立体图像对中的可见性，可以将立体图像对中的像素分为三类：仅在左视点图像中可见的像素点、仅在右视点图像中可见的像素点和在左右视点图像中均可见的点。在立体匹配获取视差图的过程中，首先必须选定左右立体图像对中的某一视点作为参考视点，另一视点作为辅助视点，然后才能进行立体匹配。立体图像对中的遮挡信息指的是辅助视点可见而参考视点不可见的像素点。

戴眼镜式的立体显示技术是现在主流的立体显示技术，采用该技术的立体显示设备可以将同一场景左右两个视点的立体图像对呈现给观众，观众通过佩戴专业的眼镜，左眼看到左视点的图像，右眼看到右视点的图像，即可感受到立体效果，这种技术需要同时获得左右视点的图像。传统的技术采用同时独立编码传输两路图像数据的方式提供立体显示所需的数据源，这种方式没用充分利用左右视点立体图像对中大量的冗余信息，需要的存储空间很大，占用了大量的带宽资源。

自由立体显示技术是现在新兴的立体显示技术，采用该技术的立体显示设备可以将同一场景多个视点的不同图像同时呈现给观众，观众不需要佩戴专业的眼镜即可在多个观看位置感受到立体效果，该技术需要获得多幅同一场景不同视点的图像。主流的方案采用在编码传输端传输一路图像数据和对应的深度数据，在重构显示端DIBR(Depth-Image-Based Rendering)算法生成多路虚拟视点图像，最后合成立体图像进行显示。虽然该方案解决了直接传输多路图像数据占用大量带宽的问题，但是由于其缺失了很多必需的遮挡信息，在DIBR算法生成的虚拟视点图像中存在着很多没有值的像素点，即空洞区域。虽然可以采用图像修复算法对产生的空洞区域进行修复，但是在修复区域会存在虚假边缘及图像纹理不连续等问题。为了呈现更好的立体效果，仍然需要添加遮挡信息，付出的代价只是增加少量的带宽。

发明内容

本发明的目的是克服现有技术的缺陷和不足，提出了一种立体图像对中遮挡信息的提取方法。

立体图像对中遮挡信息的提取方法包括以下步骤：

(1)对待处理的左右视点立体图像对，先以左视点图像为主视点图像，右视点图像为辅助视点图像进行立体匹配，得到左视点的视差图像，再以右视点图像为主视点图像，左视点图像为辅助视点图像进行立体匹配，得到右视点的视差图像；

(2)根据左视点的视差图像，将左视点图像坐标系中的每一个像素坐标映射至右视点图像坐标系中，建立左右图像对中像素坐标之间的对应关系，并记录右视点图像坐标系中每一个像素坐标的映射标志位；

(3)将右视点图像中在左视点图像中没有对应映射点的像素点提取出来，得到右视点的残余图像；

(4)根据右视点的视差图像，将右视点残余图像中的每一个像素坐标映射至左视点图像坐标系中，在左视点图像坐标系中的对应像素位置，记录右视点残余图像中对应像素点的像素值及其在右视点视差图像中的视差值，得到左视点位置的右视点图像中的遮挡信息。

所述的对待处理的左右视点立体图像对，先以左视点图像为主视点图像，右视点图像为辅助视点图像进行立体匹配，得到左视点的视差图像，再以右视点图像为主视点图像，左视点图像为辅助视点图像进行立体匹配，得到右视点的视差图像的步骤为：

(a)以左视点图像I_L(x_l，y_l)为主视点图像，以右视点图像I_R(x_r，y_r)为辅助视点图像进行立体匹配，得到左视点的视差图像D_L(x_l，y_l)。

其中，x_l表示左视点图像像素点水平方向上的坐标，y_l表示左视点图像像素点垂直方向上的坐标，x_l的取值为x_l＝0，1，2，...，H-1，y_l的取值为y_l＝0，1，2，...，V-1，x_r表示右视点图像像素点水平方向上的坐标，y_r表示右视点图像像素点垂直方向上的坐标，x_r的取值为x_r＝0，1，2，...，H-1，y_r的取值为yr＝0，1，2，...，V-1，H表示左右视点图像的水平分辨率，V表示左右视点图像的垂直分辨率；

(b)以右视点图像I_R(x_r，y_r)为主视点图像，以左视点图像I_L(x_l，y_l)为辅助视点图像进行立体匹配，得到右视点的视差图像D_R(x_r，y_r)。

所述的根据左视点的视差图像，将左视点图像坐标系中的每一个像素坐标映射至右视点图像坐标系中，建立左右图像对中像素坐标之间的对应关系，并记录右视点图像坐标系中每一个像素坐标的映射标志位的步骤为：

(c)根据步骤(a)得到的左视点的视差图像D_L(x_l，y_l)将左视点图像坐标系中的每一个像素坐标(x_l，y_l)映射至右视点图像坐标系中，得到右视点图像坐标系中对应的映射点坐标(x′_r，y′_r)，表示公式如下：

(x′_r，y′_r)＝(x_l-D_L(x_l，y_l)，y_l)

其中，x′_r为映射后像素点水平方向上的坐标，y′_r为映射后像素点垂直方向上的坐标；

(d)记录右视点图像I_R(x_r，y_r)中每一个像素位置的映射标志位Flag_R(x_r，y_r)，若步骤(c)得到的映射点坐标(x′_r，y′_r)在右视点图像区域范围之内，则映射标志位Flag_R(x_r，y_r)＝1，其他情况下，映射标志位Flag_R(x_r，y_r)＝0，表示公式如下：

所述的将右视点图像中在左视点图像中没有对应映射点的像素点提取出来，得到右视点的残余图像的步骤为：

(e)根据步骤(d)得到的映射标志位Flag_R(x_r，y_r)，将右视点图像中没有映射点的像素点提取出来，得到右视点的残余图像I_Rresidual(x_r，y_r)，表示公式如下：

I_{Rresidual} (x_{r}, y_{r}) = \{\begin{matrix} I_{R} (x_{r}, y_{r}), & {Flag}_{R} (x_{r}, y_{r}) = 0 \\ 255, & {Flag}_{R} (x_{r}, y_{r}) = 1 \end{matrix} .

所述的根据右视点的视差图像，将右视点残余图像中的每一个像素坐标映射至左视点图像坐标系中，在左视点图像坐标系中的对应像素位置，记录右视点残余图像中对应像素点的像素值及其在右视点视差图像中的视差值，得到左视点位置的右视点图像中的遮挡信息的步骤为：

(f)根据步骤(b)得到的右视点的视差图像D_R(x_r，y_r)和步骤(d)得到的映射标志位Flag_R(x_r，y_r)，将步骤(e)得到的残余图像I_Rresidual(x_r，y_r)中映射标志位Flag_R(x_r，y_r)＝0的像素点，映射至左视点图像坐标系中，得到左视点图像坐标系中对应的映射点坐标(x′_l，y′_l)，表示公式如下：

(x′_l，y′_l)＝(x_r+D_R(x_r，y_r)，y_r)

其中，x′_l为映射后像素点水平方向上的坐标，y′_l为映射后像素点垂直方向上的坐标；

(g)记录左视点图像I_L(x_l，y_l)中每一个像素位置的映射标志位Flag_L(x_l，y_l)，若步骤(f)得到的映射点坐标(x′_l，y′_l)在左视点图像区域范围之内，则映射标志位Flag_L(x_l，y_l)＝1，其他情况下，映射标志位Flag_L(x_l，y_l)＝0，其他情况下Flag_L(x_l，y_l)＝0，表示公式如下：

(h)根据步骤(g)得到的映射标志位Flag_L(x_l，y_l)，将步骤(e)得到的右视点残余图像I_Rresidual(x_r，y_r)和步骤(b)得到的右视点的视差图像D_R(x_r，y_r)映射至左视点图像坐标系中，得到在左视点图像中不可见但是在右视点中可见的遮挡信息I_occlusion(x，y)和遮挡信息对应的视差信息D_occlusion(x，y)，x表示像素点水平方向上的坐标，y表示像素点垂直方向上的坐标，x的取值为x＝0，1，2，...，H-1，y的取值为y＝0，1，2，...，V-1，表示公式如下：

I_{occlusion} (x_{r} + D_{R} (x_{r}, y_{r}), y_{r}) = \{\begin{matrix} I_{Rresidual} (x_{r}, y_{r}), & {Flag}_{L} (x_{r} + D_{R} (x_{r}, y_{r}), y_{r}) = 1 \\ 255, & {Flag}_{L} (x_{r} + D_{R} (x_{r}, y_{r}), y_{r}) = 0 \end{matrix}

D_{occlusion} (x_{r} + D_{R} (x_{r}, y_{r}), y_{r}) = \{\begin{matrix} D_{R} (x_{r}, y_{r}), & {Flag}_{L} (x_{r} + D_{R} (x_{r}, y_{r}), y_{r}) = 1 \\ 255, & {Flag}_{L} (x_{r} + D_{R} (x_{r}, y_{r}), y_{r}) = 0 \end{matrix} .

本发明适用于从立体图像对中提取遮挡信息。以往的立体图像对数据量相对较大，应用领域局限于戴眼镜式的双目立体显示技术。本方法通过双向立体匹配建立左右图像中像素点对应映射关系的方法，去除了左右立体图像对中的冗余信息，保留了有用的遮挡信息，大大减少了立体图像对的数据量，节约了传输立体图像或者立体视频数据时所需的带宽资源，并通过附加遮挡信息对应视差信息的方式极大地增强了遮挡信息使用的灵活性。

附图说明

图1是立体图像对中遮挡信息提取方法的整体框图；

图2(a)是Racket立体测试图像对左视点图像；

图2(b)是Racket立体测试图像对右视点图像；

图3(a)是立体匹配后得到的Racket左视点的视差图像；

图3(b)是立体匹配后得到的Racket右视点的视差图像；

图4是对图2(b)进行提取后得到的Racket右视点的残余图像；

图5(a)是经过遮挡信息提取后得到的Racket立体图像对的遮挡信息图像；

图5(b)是遮挡信息图像对应的视差图像。

具体实施方式

立体图像对中遮挡信息的提取方法包括以下步骤(整体框图如图1所示)：

其中，x_l表示左视点图像像素点水平方向上的坐标，y_l表示左视点图像像素点垂直方向上的坐标，x_l的取值为x_l＝0，1，2，...，H-1，y_l的取值为y_l＝0，1，2，...，V-1，x_r表示右视点图像像素点水平方向上的坐标，y_r表示右视点图像像素点垂直方向上的坐标，x_r的取值为x_r＝0，1，2，...，H-1，y_r的取值为y_r＝0，1，2，...，V-1，H表示左右视点图像的水平分辨率，V表示左右视点图像的垂直分辨率；

(x′_r，y′_r)＝(x_l-D_L(x_l，y_l)，y_l)

通过将左视点像素映射到右视点图像坐标系中的操作，可以建立左右视点立体图像中像素点从左到右的一个映射关系，而右视点图像中没有建立映射关系的像素点即为左视点位置不可见的像素点。

I_{Rresidual} (x_{r}, y_{r}) = \{\begin{matrix} I_{R} (x_{r}, y_{r}), & {Flag}_{R} (x_{r}, y_{r}) = 0 \\ 255, & {Flag}_{R} (x_{r}, y_{r}) = 1 \end{matrix} .

(x′_l，y′_l)＝(x_r+D_R(x_r，y_r)，y_r)

通过将右视点残余图像映射到左视点图像坐标系中的操作，可以建立左右视点立体图像中像素点从右到左的一个映射关系，将右视点残余图像中左视点位置不可见的像素点重新映射到左视点位置。

I_{occlusion} (x_{r} + D_{R} (x_{r}, y_{r}), y_{r}) = \{\begin{matrix} I_{Rresidual} (x_{r}, y_{r}), & {Flag}_{L} (x_{r} + D_{R} (x_{r}, y_{r}), y_{r}) = 1 \\ 255, & {Flag}_{L} (x_{r} + D_{R} (x_{r}, y_{r}), y_{r}) = 0 \end{matrix}

D_{occlusion} (x_{r} + D_{R} (x_{r}, y_{r}), y_{r}) = \{\begin{matrix} D_{R} (x_{r}, y_{r}), & {Flag}_{L} (x_{r} + D_{R} (x_{r}, y_{r}), y_{r}) = 1 \\ 255, & {Flag}_{L} (x_{r} + D_{R} (x_{r}, y_{r}), y_{r}) = 0 \end{matrix} .

实施例：

(1)将图像分辨率为752×480的Racket左右视点立体图像对作为提取遮挡信息的输入图像。图2(a)即为Racket左视点图像，图2(b)即为Racket右视点图像。

(2)以左视点图像为主视点图像右视点图像为辅助视点图像，进行立体匹配，得到左视点的视差图像。图3(a)即为Racket左视点视差图像。

(3)以右视点图像为主视点图像左视点图像为辅助视点图像，进行立体匹配，得到右视点的视差图像。图3(b)即为Racket右视点视差图像。

(4)根据左视点视差图像将左视点图像的像素坐标映射至右视点图像坐标系中，建立像素点之间从左到右的映射关系，并记录右图像映射标志位，在左图像中存在映射点的像素其标志位置为1，没有映射点的像素其标志位置为0。

(5)根据右图像映射标志位，提取标志位为0的像素即没有映射点的像素，作为右视点的残余图像。图4即为Racket右视点残余图像。

(6)根据右视点视差图像将右视点残余图像的像素坐标映射至左视点图像坐标系中，建立像素点之间从右到左的映射关系，并记录左图像映射标志位，在右视点残余图像中存在映射点的像素其标志位置为1，没有映射点的像素其标志位置为0。

(7)在左图像映射标志位为1的像素点位置记录其在右视点残余图像中对应像素点的像素值，得到遮挡信息，并记录右视点视差图像中该对应点的视差值，得到遮挡信息的视差值。图5(a)即为Racket立体图像对的遮挡信息图像，图5(b)即为Racket立体图像对遮挡信息对应的视差图像。

Claims

1.一种立体图像对中遮挡信息的提取方法，其特征包括以下步骤：

2.根据权利要求1所述的一种立体图像对中遮挡信息的提取方法，其特征在于所述的对待处理的左右视点立体图像对，先以左视点图像为主视点图像，右视点图像为辅助视点图像进行立体匹配，得到左视点的视差图像，再以右视点图像为主视点图像，左视点图像为辅助视点图像进行立体匹配，得到右视点的视差图像的步骤为：

(a)以左视点图像I_L(x_l，y_l)为主视点图像，以右视点图像I_R(x_r，y_r)为辅助视点图像进行立体匹配，得到左视点的视差图像D_L(r_l，y_l)；

3.根据权利要求1所述的一种立体图像对中遮挡信息的提取方法，其特征在于所述的根据左视点的视差图像，将左视点图像坐标系中的每一个像素坐标映射至右视点图像坐标系中，建立左右图像对中像素坐标之间的对应关系，并记录右视点图像坐标系中每一个像素坐标的映射标志位的步骤为：

(x′_r，y′_r)＝(x_l-D_L(x_l，y_l)，y_l)

4.根据权利要求1所述的一种立体图像对中遮挡信息的提取方法，其特征在于所述的将右视点图像中在左视点图像中没有对应映射点的像素点提取出来，得到右视点的残余图像的步骤为：

I_{Rresidual} (x_{r}, y_{r}) = \{\begin{matrix} I_{R} (x_{r}, y_{r}), & Fla g_{R} (x_{r}, y_{r}) = 0 \\ 255, & {Flag}_{R} (x_{r}, y_{r}) = 1 \end{matrix} .

5.根据权利要求1所述的一种立体图像对中遮挡信息的提取方法，其特征在于所述的根据右视点的视差图像，将右视点残余图像中的每一个像素坐标映射至左视点图像坐标系中，在左视点图像坐标系中的对应像素位置，记录右视点残余图像中对应像素点的像素值及其在右视点视差图像中的视差值，得到左视点位置的右视点图像中的遮挡信息的步骤为：

(x′_l，y′_l)＝(x_r+D_R(x_r，y_r)，y_r)

I_{occlusion} (x_{r} + D_{R} (x_{r}, y_{r}), y_{r}) = \{\begin{matrix} I_{Rresidual} (x_{r}, y_{r}), & {Flag}_{L} (x_{r} + D_{R} (x_{r}, y_{r}), y_{r}) = 1 \\ 255, & {Flag}_{L} (x_{r} + D_{R} (x_{r}, y_{r}), y_{r}) = 0 \end{matrix}

D_{occlusion} (x_{r} + D_{R} (x_{r}, y_{r}), y_{r}) = \{\begin{matrix} D_{R} (x_{r}, y_{r}), & {Flag}_{L} (x_{r} + D_{R} (x_{r}, y_{r}), y_{r}) = 1 \\ 255, & {Flag}_{L} (x_{r} + D_{R} (x_{r}, y_{r}), y_{r}) = 0 \end{matrix} .