CN101494799A - 存储、恢复立体视频的方法和装置及恢复立体视频的系统 - Google Patents

Abstract

本发明公开了存储、恢复立体视频的方法和装置及恢复立体视频的系统，属于视频压缩编码领域。存储立体视频的方法包括：对原视图和原视图相邻的视图计算出深度图；计算出原视图的像素点的位移量，将原视图的像素点平移对应的位移量得到残缺的视图；用待用视图减去残缺的视图得到稀疏图；将稀疏图中非空白像素保存在文件中。恢复立体视频的方法包括：对原视图和深度图计算出残缺的视图；从残余信息文件中读取像素填补残缺的视图。存储立体视频的装置包括：第一计算模块、第二计算模块、减去模块、存储模块。恢复立体视频的装置包括：计算模块、恢复模块。恢复立体视频的系统包括：存储视频装置、恢复视频装置。本发明恢复的立体视频的视觉效果较佳。

Description

存储、恢复立体视频的方法和装置及恢复立体视频的系统

技术领域

本发明涉及视频压缩编码领域，特别涉及存储、恢复立体视频的方法和装置及恢复立体视频的系统。

背景技术

近年来，随着立体显示技术在主要技术难点的逐个突破，它受到了越来越多领域的青睐，比如娱乐，医学，勘探等等。在立体显示系统中，对立体视频的压缩编码和传输是其中很重要的几个环节，而在这一系列环节中，立体视频的保存格式无疑起到相当关键的作用，因为它直接关系到所占存储空间的多少、播送时所占的带宽以及视图渲染的质量等等。

目前，采用视频加深度图格式(Video Plus Depth)对立体视频进行压缩保存。在保存双目摄相机采集的立体图时，通过记录左视图和相对应的深度图来表示完整的左视图和右视图。但是这种基于深度图的立体图片的绘制有一个致命的弱点，那就是在立体图进行渲染的过程中会出现空洞现象。这是因为两个摄像机的位置虽然很近，但毕竟不是在同一点进行采集的，所以也就造成了在右视图中可以看到了一部分纹理信息在左视图中看不到，同样在左视图中也有右视图看不到的纹理信息，这就是纹理的遮挡。在恢复立体视频时，关于基于深度渲染的过程中出现空洞问题，可以根据保存的左视图和深度图，再利用水平插值，基于深度信息的水平外推等算法进行填补。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

采用基于深度图方法保存视频的立体图，只保存左视图和深度图会丢弃右视图中被左视图遮挡的部分信息，这样会导致在保存立体视频时会出现信息丢失的问题；另外，根据保存的深度图和左视图来恢复视频时，虽然可以通过已有的信息推算出原视频的丢失的信息，但毫无疑问，推算来的信息与丢失的信息肯定会有差距，直接影响视频的视觉效果。

发明内容

为了避免存储立体视频造成信息丢失的问题，并使恢复出的立体视频的视觉效果较佳，本发明实施例提供了存储、恢复立体视频的方法和装置及恢复立体视频的系统。所述技术方案如下：

一种存储立体视频的方法，所述方法包括：

在采集的多张视图中，在采集的最左侧视图和采集的最右侧视图中，指定其中一张的视图为原视图，另一张视图为待用视图，对所述原视图和原视图相邻的视图进行计算得到所述原视图对应的深度图；

计算出所述原视图每个像素点相对于所述待用视图的位移量，在水平轴上将所述原视图的每个像素点平移对应的位移量得到残缺的视图；

用所述待用视图减去所述残缺的视图得到稀疏图；

将所述稀疏图中非空白像素保存在残余信息文件中；保存所述原视图、所述深度图和所述残余信息文件。

一种对利用所述存储立体视频的方法得到的立体视频进行恢复的方法，所述方法包括：

对保存的原视图和深度图进行计算得到残缺的视图；

扫描所述残缺的视图，遇到空白像素从残余信息文件中读取对应的像素进行填补；将所述残缺的视图中的空洞部分全部填补完，恢复出完整的立体图。

一种存储立体视频的装置，所述装置包括：

第一计算模块，用于在采集的多张视图中，在采集的最左侧视图和采集的最右侧视图中，指定其中一张视图为原视图，另一张视图为待用视图，对所述原视图和原视图相邻的视图进行计算得到所述原视图对应的深度图；

第二计算模块，用于计算出所述原视图的每个像素点相对于所述待用视图的位移量，在水平轴上将所述原视图的每个像素点平移对应的位移量得到残缺的视图；

减去模块，用于用所述待用视图减去所述残缺的视图得到稀疏图；

存储模块，用于将所述稀疏图中非空白像素保存在残余信息文件中，保存所述原视图、所述深度图、所述残余信息文件。

一种对利用所述存储立体视频的装置得到的立体视频进行恢复的装置，所述装置包括：

计算模块，用于对原视图和深度图进行计算得到残缺的视图；

恢复模块，用于扫描所述残缺的视图，遇到空白像素从残余信息文件读取对应的像素进行填补；将所述残缺的视图中的空洞部分全部填补完，恢复出完整的立体图。

一种恢复立体视频的系统，所述系统包括：

存储视频装置，用于在采集的多张视图中，在采集的最左侧视图和采集的最右侧视图中，指定其中一张视图为原视图，另一张视图为待用视图，对所述原视图和原视图相邻的视图进行计算得到所述原视图对应的深度图，计算计算出所述原视图的每个像素点相对于所述待用视图的位移量，在水平轴上将所述原视图的每个像素点平移对应的位移量得到残缺的视图，用所述待用视图减去所述残缺的视图得到稀疏图，将所述稀疏图中非空白像素保存在残余信息文件中，保存所述原视图、所述深度图和所述残余信息文件；

恢复视频装置，用于对所述保存的所述原视图和所述深度进行计算得到残缺的视图，扫描所述残缺的视图，遇到空白像素从所述残余信息文件中读取对应的像素进行填补，将所述残缺的视图中的空白像素填补完，得到完整的立体图。

本发明实施例提供的技术方案的有益效果是：

通过残余信息文件保存被原视图遮挡的部分信息，恢复立体视频时从保存的残余信息文件中读取信息填补被原视图遮挡的部分信息，如此，避免了存储立体视频时出现信息丢失，并使恢复出的立体视频的视觉效果较佳。

附图说明

图1是本发明实施例1提供的一种存储立体视频的方法流程图；

图2是本发明实施例2提供的一种存储立体视频的方法流程图；

图3是本发明实施例3提供的一种存储立体视频的方法流程图；

图4是场景中点P在左视图和右视图中的投影示意图；

图5是本发明实施例4提供的一种恢复立体视频的方法流程图；

图6是本发明实施例5提供的一种恢复立体视频的方法流程图；

图7是本发明实施例6提供的一种恢复立体视频的方法流程图；

图8是本发明实施例7提供的一种存储立体视频的装置的示意图；

图9是本发明实施例8提供的一种恢复立体视频的装置的示意图；

图10是本发明实施例9提供的一种恢复立体视频的系统的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例1

如图1所示，本发明实施例提供了一种存储立体视频的方法，具体包括：

步骤101：在采集的多张视图中，在采集的最左侧视图和采集的最右侧视图中指定其中一张视图为原视图，另一张视图为待用视图，对原视图和原视图相邻的视图进行计算得到原视图对应的深度图；

步骤102：计算出原视图每个像素点相对于待用视图的位移量，将原视图的每个像素点在水平轴上平移对应的位移量得到残缺的视图；

步骤103：用待用视图减去残缺的视图得到稀疏图；

步骤104：将稀疏图中非空白像素保存在残余信息文件中；保存原视图、深度图和残余信息文件；

其中，残余信息文件保存采集的其他视图被原视图遮挡的部分信息；原视图，深度图和残余信息文件三者可以表示采集的多张视图；将采集到的所有视图按以上步骤进行保存。

进一步地，如果多目摄像机采集的视图超过两张还需要保存采集原视图的视点与采集其他视图的每个视点之间的距离。

本发明实施例获得深度图和残余信息文件，通过保存原视图、深度图和残余信息文件三者表示采集的多张视图，其中，利用残余信息文件保存原视图遮挡采集的其他视图的部分信息，从而，在保存立体视频时避免了信息丢失，使得恢复出的立体视频的视觉效果较佳。

实施例2

本发明实施例提供一种存储立体视频的方法，多目摄像机在水平方向采集多张视图，在采集的最左侧视图和采集的最右侧视图中，指定其中一张视图为原视图，另一张视图为待用视图，通过保存原视图、深度图和残余信息文件可以表示采集的多张视图，如图2所示，该方法具体包括：

步骤201：对原视图和原视图相邻的视图进行计算得到原视图对应的深度图；

其中，场景中的同一点分别投影在原视图和原视图相邻的视图中，计算出该点在原视图中的投影点与在原视图相邻的视图中的投影点的位置差。计算出的位置差为该点在原视图投影的像素点的视差值，将场景中的所有点按上述方法计算出在原视图投影的像素点的视差值，将原视图的每个像素点的视差值转化为灰度值，将转化的灰度值记录在一张灰度图上，得到原视图对应的深度图。深度图以灰度值的形式保存原视图与原视图相邻的视图之间的冗余信息。

步骤202：计算出原视图每个像素点相对于待用视图的位移量，将原视图的每个像素点在水平轴上平移对应的位移量得到一张视图，其中，得到的该视图中具有空洞部分，因此是残缺的视图；

具体地，将深度图记录的灰度值转化为原视图中每个像素点的视差值，将转化的视差值带入关系式中计算得到原视图每个像素点相对于待用视图的视差值，其中，该关系式为第一视差值与第二视差值之比与第一距离与第二距离之比，第一视差值为原视图的一个像素点相对于原视图相邻的视图的视差值，即将深度图转化后得到该点的视差值，第二视差值为该点相对于待用视图的视差值，第一距离为采集原视图与原视图相邻的视图的两视点间的距离，第二距离为采集原视图与待用视图的两视点间的距离，视差值为像素点在水平轴上平移的位移量，所以将计算得到的视差值作为原视图的每像素点对应的位移量，在水平轴上，将原视图的每个像素点平移对应的位移量得到一张残缺的视图；

其中，计算得到的残缺的视图就是原视图与待用视图之间的冗余的图像；由于原视图遮挡待用视图的部分信息，所以计算得到的残缺的视图中具有空洞部分。

步骤203：利用待用视图减去计算得到的残缺的视图，得到稀疏图；

其中，稀疏图存放的图像信息就是原视图遮挡采集的其他视图的部分信息，由于采集的各视图之间有比较高的空间关联性，故得到的稀疏图只有一块或多块像素信息，其他的大部分区域都是空白区域。

步骤204：将稀疏图中的非空白像素保存在文件中，得到残余信息文件；

具体地，将稀疏图中的非空白像素依次向左平移，使得每个块内的像素与像素之间没有空白像素，块与块之间只有一个空白像素之隔，使稀疏图中的每一行里只有前段有像素值，后段都是空白区域，或者，将稀疏图中的非空白像素依次向右平移，使得每个块内的像素与像素之间没有空白像素，块与块之间只有一个空白像素之隔，使稀疏图中的每一行里只有后段有像素值，前段都是空白区域，再将平移后的每行像素信息保存在文件的对应的行中，得到残余信息文件。

另外，如果采集的视图只包括两张视图，也可以将残余信息文件中的非空白像素依次向左平移，使像素与像素之间没有空白像素，使稀疏图中的每行只有前段有像素值，后段都是空白区域，或者，将稀疏图中的非空白像素依次向右平移，使得像素与像素之间没有空白像素，使稀疏中的每行只有后段有像素值，前段都是空白区域，然后，将稀疏图中的每行像素信息保存在文件中，得到残余信息文件。

完成此步骤后就可以得到表示一个完整立体图的原视图、深度图和残余信息文件三者，再将此三者保存；按上述的步骤依次将采集到的所有视图进行保存，将保存的立体图组成完整的视频。

进一步地，摄像机采集的视图超过两张还需要保存采集原视图的视点与采集其他视图的每个视点之间的距离。

本实施例中计算出深度图和残余信息文件，保存原视图，深度图和残余信息文件，用于表示完整的立体图，利用残余信息文件保存采集的其他视图被原视图遮挡的部分信息，从而，有效的避免了保存立体视频时造成信息丢失的问题，并使恢复出的立体视频的视觉效果较佳。

实施例3

如图3所示，本发明实施例提供了一种存储立体视频的方法，本实施例中通过双目摄像机采集得到左视图和右视图，指定左视图作为原视图，利用左视图，深度图和残余信息文件三者表示完整的左视图和右视图，该方法具体包括：

步骤301：对左视图和右度图进行计算得到左视图对应的深度图；

其中，场景中同一点分别投影在左视图和右视图中，计算出该点在左视图投影的像素点与在右视图投影的像素点之间的位置差，其中，计算出的位置差为该点在左视图投影的像素点的视差值，对场景中的所有点按上述方法进行计算得到场景中的每个点在左视图中投影的像素点的视差值；将左视图的每个像素点的视差值转化为灰度值，得到每个像素点对应的灰度值，将每个像素点对应的灰度值记录在一张灰度图上得到左视图相对应的深度图。

本实施例中计算深度图的原理，如4图所示：场景中某一点P在左视图和右视图中的投影示意图，其中，P在左视图中的投影位置是P₀，在右视图中的投影位置是P₁，C₀对应左视图视点，C₁对应右视图视点，f是焦距，b₁是两视点之间的距离。

根据图4得到如下(1)式：

$\left\{\begin{array}{c}\frac{v_0}{f}=\frac{{-p}_x}{p_z}\\ \frac{v_1}{f}=\frac{-p_x+b_1}{p_z}\end{array}\right.$

$\⇒d_1=v_1-v_0=\frac{{\mathrm{fb}}_1}{p_z}$

从(1)式中可以看出，当焦距f和视点之间的距离b固定时，视差d_l→r与深度Z成反比，其中，视差d_l→r为场景中的一点在左视图中的投影点相对于在右视图中投影点的位置差。场景中无穷远点对应的d_l→r为0，所以场景中最远点对应的视差d_l→r最小，把最小的视差d_l→r记为d_min，场景中离视点最近的点对应的视差最大，记为d_max。对场景中所有点投影在左视图和右视图中的位置关系计算得到的视差值转化为0-255的灰度值。d_min对应灰度值0，d_max对应灰度值255，对介于d_min和d_max之间的视差值进行线性插值得到各自对应的灰度值。再将左视图中每一点对应的灰度值记录在一张灰度图上得到左视图对应的深度图。

本实施例中深度图用于保存左视图和右视图之间的冗余信息，冗余信息是左视图和右视图都具有的场景部分；其中，深度图是用灰度值来保存的图片，所以存储深度图所占用的空间小，传输时需要的带宽也大幅度降低。

步骤302：对左视图和对应的深度图进行计算得到右视图；

具体地，根据深度图记录的灰度值计算出左视图中每个像素点的位移量，在水平轴上，将左视图中每个像素点加上相应的位移量就得到右视图；其中，得到的右视图中具有空洞部分，因此是残缺的右视图。

其中，每个像素点的位移量即为该像素点的视差值，由于左视图和右视图视角不同，所以左视图必遮挡右视图的部分信息，残缺不全的右视图中的空洞部分就是右视图被遮挡的部分信息；其中，残缺的右视图为左视图和右视图冗余部分的图像。

步骤303：利用右视图减去残缺的右视图得到一张稀疏图；

其中，稀疏图是右视图被左视图遮挡的部分的信息，由于左视图和右视图之间具有高度的相关性，所以残缺的右视图存在一个或多个像素信息块，其他部分都是空白区域，很稀疏。

步骤304：将稀疏图中每行非空白像素按顺序紧凑的保存在文件的对应行中，得到残余信息文件；保存左视图，深度图和残余信息文件三者。

具体地，将稀疏图的每行非空白像素依次往左平移，使像素与像素之间没有空白像素，使稀疏图的每行的前段有像素值，后段都是空白区域，或者，将稀疏图的每行非空白像素依次相右平移，使像素与像素之间没有空白像素，使稀疏图的每行只有后段有像素值，前段都是空白区域，将稀疏图的每行像素信息保存在文件的对应的行中，得到残余信息文件。

另外，在本实施例中也可以将稀疏图中的每行非空白像素依次向左平移，使块内的像素与像素之间没有空白像素，块与块之间只有一个空白像素之隔；或者将稀疏图中的每行非空白像素依次向右平移，使块内的像素与像素之间没有空白像素，块与块之间只有一个空白像素之隔；然后，将稀疏图中的每行非空白像素保存在文件中，得到残余信息文件。

完成此步骤后得到左视图、深度图和残余信息文件三者，此三者可以表示完整的左视图和右视图。将双目摄像机采集到的立体图按上述步骤进行保存，再将保存的立体图组成完整的视频。

本实施例中也可以保存右视图，其对应的深度图和残余信息文件三者，用于表示完整的左视图和右视图。

另外，八目摄像机在水平方向上采集的八张视图，指定采集的最左侧视图或采集的最右侧视图为原视图，另一张视图为待用视图。例如指定采集的第一张视图为原视图，采集的第八张视图为待用视图。对原视图和原视图相邻的视图即采集的第一张视图和采集的第二张视图进行计算得到原视图对应的深度图，将深度图保存的恢度值转化为视差值，将转化的视差值带入关系式计算到原视图的每个像素点相对于采集的第八张视图的视差值，其中，视差值为像素点在水平轴上平移的位移量，所以将计算得到的视差值作为原视图每个像素点对应的位移量，将原视图的每个像素点平移对应的位移量得到残缺的视图，利用待用视图即采集的第八张视图减去残缺的视图得到稀疏图，将稀疏图中的非空白像素保存在残余信息文件中，得到表示摄像机一次采集的八张视图的原视图、深度图和残余信息文件三者，再保存原视图，深度图、残余信息文件以及采集第一张视图的视点与采集其他七张视图的每个视点之间的距离，其中，上述关系式为第一视差值与第二视差值之比等于第一距离与第二距离之比，第一视差值为原视图的像素点相对于原视图相邻的视图的视差值，即将深度图转化后得到该像素点的视差值，第二视差值为该像素点相对于采集的第八张视图的视差值，第一距离为采集第一张视图与第二张视图的两视点距离，第二距离采集第一张视图与第八张视图两视点间距离。

本发明实施例通过保存左视图，深度图和残余信息文件，用于表示一个完整的左视图和右视图，利用残余信息文件保存左视图遮挡右视图的部分信息，从而，解决了保存立体视频时出现信息丢失的问题，并使得恢复出的立体视频的视觉效果较佳。

实施例4

如图5所示，本发明实施例提供了一种恢复立体视频的方法，对利用实施例1提供的存储立体视频的方法保存的立体视频进行恢复，该方法包括：

步骤401：对原视图和深度图进行计算得到残缺的视图；

其中，该残缺的视图为原视图相邻的视图对应的残缺的视图，如果采集的视图超过两张，即采集的视图包括原视图和原视图相邻的视图还包括其他的视图，则还需要计算出其他的每张视图对应的残缺的视图，进一步地，对保存的原视图与深度图以及采集原视图和原视图相邻的视图的视点间的距离和采集原视图与其他的每张视图的视点之间的距离，计算出其他的每张视图对应的残缺的视图。

步骤402：扫描每张残缺的视图，遇到空白像素就从残余信息文件读取对应的像素进行填补；将残缺视图中的空洞部分全部填补完就恢复出完整的立体图。

本发明实施例通过对保存的原图和深度图行计算得到残缺的视图，从保存的残余信息文件中读取像素填补残缺视图中的空洞部分，避免了保存视频时出现信息丢失的问题，从而恢复出完整的立体图，使得恢复出的视频的视觉效果较佳。

实施例5

如图6所示，本发明实施例提供了一种恢复立体视频的方法，对利用实施例2提供的存储立体视频的方法得到的立体视频进行恢复，具体包括：

步骤501：将深度图保存的恢度值转化为视差值，得到原视图每个像素点的视差值；

其中，得到的视差值为原视图的像素点相对于原视图相邻的视图的视差值，若摄像机采集的视图超过两张视图即采集的视图中有原视图和原视图相邻的视图还包括其他一张或多张视图，则还需要计算出原视图中的每个像素点相对于其他视图的视差值。进一步地，将采集原视图的视点与采集每张其他视图的视点间的距离分别带入关系式中，计算出原视图的每个像素点相对于每张其他视图的视差值。

其中，关系式为第一视差值与第二视差值之比等于第一距离与第二距离之比，其中，第一视差值为原视图的一个像素点相对于原视图相邻的视图的视差值，第二视差值为原视图的该像素点相对于一张其他视图的视差值，第一距离为采集原视图与原视图相邻的视图两视点间的距离，第二距离为采集原视图与该其他视图的两视点间的距离。视差值为像素点在水平轴上平移的位移量。采集原视图与原视图相邻的视图之间的距离以及采集原视图与每张其他视图的视点的间的距离在存储立体视频时进行保存的。

步骤502：将原视图的每个像素点在水平轴上平移对应的位移量，得到一张或多张视图；

其中，平移得到的视图具有一块或多块空白区域，因此是残缺的视图。

步骤503：扫描每张残缺的视图，遇到空白像素从保存的残余信息文件中读取对应的像素进行填补，将所有残缺的视图的空洞部分填补完，恢复出完整的立体图。

具体地，如果原视图为采集的最左侧视图，则从右到左扫描每张残缺的视图的每行像素，遇到空白像素从残余信息文件对应的块中的对应的行中读取对应的像素进行填补，例如在残缺的视图的第一块空白区域中遇到第一个空白像素从残余信息文件的对应的块中的对应的行中读取第一个像素进行填补；如果原视图为采集的最右侧视图，则从左到右扫描每张残缺的视图的每行像素，遇到空白像素从残余信息文件对应的块中的对应的行中读取对应的像素进行填补，将每张残缺的视图中的空洞部分填补完，恢复出完整的立体图。

本发明实施例通过保存的原视图、深度图计算出原视图每个像素点对应的位移量，将原视图的每个像素点在水平轴上平移对应的位移量得到残缺的视图，从保存的残余信息文件中读取对应的像素将残缺的视图中空洞部分填补完，恢复出完整的立体图，避免了保存视频时出现信息丢失的问题，使得恢复出的视频的视觉效果较佳。

实施例6

如图7所示，本发明实施例提供了一种恢复视频的方法，对利用实施3提供的存储立体视频的方法得到的立体视频进行恢复，具体包括：

步骤601：将深度图保存的恢度值转化为左视图每个像素点的视差值；

其中，将恢度值转化为视差值为将视差值转化为恢度值的逆过程，视差值是像素点在水平轴上平移的位移量，所以左视图中的每个像素点都有对应的位移量。

步骤602：将左视图中的每个像素点平移对应的位移量得到残缺的右视图；

其中，残缺的右视图中有空洞部分。

步骤602：对残缺的右视图中的每行像素按从左到右的顺序进行扫描，遇到空白像素就从残余信息文件对应的行中读取对应的像素进行填补；将残缺的右视图中的空洞部分全部填补完得到完整的右视图。

例如，在对残缺的右视图的第L行进行从左到右扫描时，遇到第L行第一个空白像素，就从残余信息文件中第L行读取第一个像素来填补第一个空白像素，填补之后继续对残缺的右视图的第L行进行扫描，如果遇到第二个空白像素，就从残余信息文件的第L行中读取第二个像素来填补第二个空白像素，按此步骤直到将残缺的右视图扫描完得到完整的右视图。

如果在实施例3存储的残余信息文件中以块为单位保存像素信息，则从右向左扫描残缺的视图的每行像素信息，遇到空白像素就从残余信息文件中对应的块中对应的行中读取对应的像素进行填补，将残缺的右视图中的空洞部分全部填补完得到完整的右视图。

例如，在对残缺的右视图的第L行进行从右向左扫描时，遇到第L行第一个空白像素，就从残余信息文件中按从右向左的顺序从第L行读取第一个像素块中的读取第一个像素来填补第一个空白像素，填补之后继续对残缺的右视图的第L行进行扫描，按此步骤直到将残缺的右视图扫描完得到完整的右视图。

另外，恢复八目摄像机采集的立体视频时，例如恢复实施例3中存储的立体视频，在实施例3中存储采集的第一张视图、深度图、残余信息文件和采集第一张视图的视点与分别采集其他七张视图的视点之间的距离。首先将深度图保存的恢度值转化为视差值，得到采集的第一张视图中的每个像素点相对采集的第二张视图对应的视差值，将采集第一张视图的视点与采集其他六张视图的每个视点间的距离带入关系式计算出采集的第一张视图的每个像素点分别相对于其他六张视图的视差值；其中，关系式为第一视差值与第二视差值之比等于第一距离与第二距离之比，其中，第一视差值为采集的第一张视图的一像素点相对于采集的第二张视图的视差值，第二视差值为该像素点相对于其他一张视图的视差值，第一距离为采第一张张视图与第二张视图两视点间的距离，第二距离为采集第一张视图与其他的该张视图的视点间的距离。其中，视差值为像素点在水平轴上平移的位移量，所以采集的第一张视图的每个像素点都有各自对应的七个位移量；将采集的第一张视图中每个像素点在水平轴上平移各自的位移量，得到七张残缺的视图，按从右到左的顺序扫描每张残缺的视图的每行像素，遇到空白像素从残余信息文件对应的块中的对应的行中读取对应的像素进行填补，将七张残缺的视图的空洞部分填补完，恢复出其他的七张视图。

本实施例对保存的左视图和对应的深度图进行计算得到残缺的右视图，再从保存的残余信息文件中读取像素值将残缺的右视图中的空洞部分填补得到完整的右视图，如此，避免了保存视频的立体图时出现的信息丢失的问题，使得恢复出的视频的视觉效果较佳。

实施例7

如图8所示，本发明实施例提供一种存储存储立体视频的装置，包括：

第一计算模块701，用于在采集的多视图中，在采集的最左侧视图和采集的最右侧视图中，指定其中一张视图为原视图，另一张视图为待用视图，对原视图和原视图相邻的视图进行计算得到原视图对应的深度图；

第二计算模块702，用于计算出原视图每个像素点相对于待用视图的位移量，将原视图的每个像素点在水平轴上平移对应的位移量得到残缺的视图；

减去模块703，用于用待用视图减去残缺的视图得到稀疏图；

存储模块704，用于将稀疏图中非空白像素保存在残余信息文件中，保存原视图、深度图和残余信息文件。

其中，第一计算模块701具体包括：

计算单元，用于计算出场景中同一点分别投影在原视图和原视图相邻的视图中的两个投影点的位置差，其中，所述位置差为场景中的该点在原视图投影的像素点的视差值，将场景中的所有点按上述方法计算出在原视图投影的像素点的视差值；

转化单元，用于将计算单元计算出的视差值转化为恢度值；

存储单元，用于将转化单元转化的恢度值保存在一张恢度图中得到深度图；

第二计算模块702具体包括：

转化单元，用于将深度图保存的恢度值转化为视差值，得到原视图每个像素点的视差值；

计算单元，用于将转化单元得到的每个视差值带入关系式中计算得到原视图的每个像素点相对于待用视图的视差值，其中，视差值为像素点在水平轴上平移的位移量，所以将计算出的所有视差值作为原视图的每个像素点对应的位移量；

其中，上述关系式为第一视差值与第二视差值之比等于第一距离与第二距离之比，第一视差值为原视图的一个像素点相对原视图相邻的视图的视差值，即将恢度值转化后得到的视差值，第二视差值为该像素点相对于待用视图的视差值，第一距离为采集原视图与原视图相邻的视图两视点间的距离，第二距离为采集原视图与待用视图两视点间的距离。

平移单元，用于将原视图的每个像素点在水平轴上平移各自对应的位移量得到一张残缺的视图；

存储模块704具体包括：

聚集单元，用于聚集稀疏图中的每行非空白像素，使得每个块内的像素与像素之间没有空白像素，块与块之间有一个空白像素之隔；

存储单元，用于将稀疏图的每行像素信息保存在文件的对应的行中，得到残余信息文件；

进一步地，聚集单元可以具体包括：

第一平移子单元，用于将所述稀疏图中的每行非空白像素依次向左平移，使得每个块内的像素与像素之间没有空白像素，块与块之间只有一个空白像素之隔，使所述稀疏图中的每行只前段有像素值，后段都是空白区域；

或者，聚集单元可以具体包括：

第二平移子单元，用于将所述稀疏图中的每行非空白像素依次向右平移，使得每个块内的像素与像素之间没有空白像素，块与块之间只有一个空白像素之隔，使所述稀疏图中的每行只有后段有像素值，前段都是空白区域。

当采集的视图超过两张，进一步地，还包括：

保存模块，用于保存采集原视图的视点与采集每张其他的视图的视点之间的距离；

本实施例第一计算模块对原视图和原视图相邻的视图进行计算得到原视图对应的深度图，第二计算模块对原视图和深度图进行计算得到残缺的视图，减去模块用待用视图分别减去残缺的视图得到稀疏图，存储模块用残余信息文件保存稀疏图中非空白像素，从而避免了保存视频的立体图时出现信息丢失的问题，使得恢复出的视频的视觉效果较佳。

实施例8

如图9所示，本发明实施例提供了一种恢复立体视频的装置，包括：

计算模块801，用于对原视图和深度图进行计算得到残缺的视图；

恢复模块802，用于扫描残缺的视图，遇到空白像素从残余信息文件读取对应的像素进行填补；将残缺的视图中的空洞部分全部填补完，恢复出完整的立体图。

其中，计算模块801具体包括：

转化单元，用于将深度图保存的恢度值转化为视差值，得到原视图每个像素点的视差值，其中，视差值为原视图的像素点相对于原视图相邻的视图的视差值，视差值为像素点在水平轴上平移的位移量，所以原视图的每个像素点在水平轴上都有对应的位移量；

平移单元，用于将原视图的每个像素点在水平轴上平移对应的位移量，得到残缺的视图；

恢复模块802具体包括：

填补单元，用于当保存的原视图为采集的最左侧视图，从右到左扫描每张残缺的视图的每行像素，遇到空白像素从残余信息文件对应的块中对应的行中读取对应的像素进行填补；当保存的原视图为采集的最右侧视图，从左到右扫描每张残缺的视图的每行像素，遇到空白像素从残余信息文件对应的块中对应的行中读取对应的像素进行填补。

如果采集的视图包括原视图和原视图相邻的视图还包括其他视图，则进一步地，所述转化单元还包括：

将采集原视图的视点与采集其他视图的每个视点间的距离带入到关系式中计算得到原视图的每个像素点相对于每张其他视图的视差值；其中，关系式为第一视差值与第二视差值之比等于第一距离与第二距离之比，其中，第一视差值为原视图的一个像素点相对于原视图相邻的视图的视差值，第二视差值为该像素点相对于一张其他视图的视差值，第一距离为采集原视图与原视图相邻的视图的视点间的距离，第二距离为采集原视图的视点与采集该张其他视图的视点间的距离。

本发明实施例计算模块对保存的原视图和对应的深度图进行计算得到残缺的视图，填补模块从保存的残余信息文件中读取非空白像素填补残缺的视图中的空洞部分，从而解决了保存立体视频时出现信息丢失的问题，使得恢复出的立体视频的视觉效果较佳。

实施例9

如图10所示，本发明实施例提供一种恢复立体视频的系统，包括：

存储视频装置901，用于在采集的多张视图中，在采集的最左侧视图和采集的最右视图中，指定其中一张视图为原视图，另一张视图为待用视图，对原视图和原视图相邻的视图进行计算得到原视图对应的深度图，计算出原视图每个像素点相对于待用视图的位移量，在水平轴上将原视图的每个像素点在平移对应的位移量，得到残缺的视图，用待用视图减去残缺的视图得到稀疏图，将稀疏图中非空白像素保存在残余信息文件中，保存原视图、深度图和残余信息文件；

恢复视频装置902，用于对保存的所述原视图和深度进行计算得到残缺的视图，扫描残缺的视图，遇到空白像素从残余信息文件中读取对应的像素进行填补，将残缺的视图中的空白像素填补完，得到完整的立体图。

采集的视图包括原视图和原视图相邻的视图还包括其他视图，则进一步地，存储视频装置901还包括：

存储单元，用于保存采集原视图与原视图相邻的视图的两视点间的距离，采集原视图与每张其他视图的视点间的距离；

恢复视频装置902还包括：

计算单元，用于对深度图、原视图、残余信息文件和各视点间的距离计算出每张其他视图对应的残缺的视图。

本发明实施例存储视频装置进行计算得到原视图对应的深度图，对原视图和深度图进行计算得到残缺的视图，利用待用视图减去残缺的视图得到稀疏图，将稀疏图中的非空白像素保存在残余信息文件中，恢复视频装置对保存的原视图和深度图进行计算得到残缺的视图，读取残余信息文件中的像素值填补残缺的视图中空白像素部分，如此，解决了保存立体视频时出现信息丢失的问题，并使恢复出的立体视频的视觉效果较佳。

以上实施例提供的技术方案中的全部或部分内容可以通过软件编程实现，其软件程序存储在可读取的存储介质中，存储介质例如：计算机中的硬盘、光盘或软盘。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (22)

1.一种存储立体视频的方法，其特征在于，所述方法包括：

在采集的多张视图中，从采集的最左侧视图和采集的最右侧视图中指定其中一张视图为原视图，另一张视图为待用视图，对所述原视图和原视图相邻的视图进行计算得到所述原视图对应的深度图；

计算出所述原视图每个像素点相对于所述待用视图的位移量，在水平轴上将所述原视图的每个像素点平移对应的位移量得到残缺的视图；

用所述待用视图减去所述残缺的视图得到稀疏图；

将所述稀疏图中非空白像素保存在残余信息文件中；保存所述原视图、所述深度图和所述残余信息文件。

2.根据权利要求1所述存储立体视频的方法，其特征在于，所述对所述原视图和原视图相邻的视图进行计算得到所述原视图对应的深度图，具体包括：

场景中的同一点分别投影在所述原视图中的投影点和所述原视图相邻的视图中的投影点，计算出所述两个投影点的位置差；

所述位置差为所述点在所述原视图投影的像素点的视差值，将所述场景中的所有点按上述方法计算出在所述原视图投影的像素点的视差值，将所述原视图的每个像素点的视差值转化为灰度值；

将所述转化的灰度值记录在一张灰度图上，得到所述原视图对应的深度图。

3.根据权利要求1所述存储立体视频的方法，其特征在于，所述计算出所述原视图每个像素点相对于所述待用视图的位移量，在水平轴上将所述原视图的每个像素点平移对应的位移量得到残缺的视图，具体包括：

将所述深度图记录的灰度值转化为所述原视图中每个像素点的视差值，将所述转化的视差值带入到关系式中计算得到所述原视图每个像素点相对于所述待用视图的视差值，其中，所述关系式为第一视差值与第二视差值之比等于第一距离与第二距离之比，所述第一视差值为所述原视图的一个像素点相对于所述原视图相邻的视图的视差值，所述第二视差值为所述像素点相对于所述待用视图的视差值，所述第一距离为采集所述原视图与所述原视图相邻的视图的视点间的距离，所述第二距离为采集所述原视图与所述待用视图的视点间的距离，视差值为像素点在水平轴上平移的位移量，所以将所述计算出的视差值作为所述原视图的每个像素点各自对应的位移量；

在水平轴上，将所述原视图的每个像素点平移对应的位移量得到一张所述残缺的视图。

4.根据权利要求1所述的存储立体视频的方法，其特征在于，所述将所述稀疏图中非空白像素保存在残余信息文件中，具体包括：

聚集所述稀疏图中的每行非空白像素，使得每个块内的像素与像素之间没有空白像素；

将所述稀疏图的每行像素信息保存在文件的对应的行中，得到所述残余信息文件。

5.根据权利要求4所述存储立体视频的方法，其特征在于，所述聚集所述稀疏图中的每行非空白像素，使得每个块内的像素与像素之间没有空白像素，具体包括：

将所述稀疏图中的每行非空白像素依次向左平移，使得块内的像素与像素之间没有空白像素，块与块之间只有一个空白像素之隔，使所述稀疏图中的每行前段有像素值，后段都是空白区域；或将所述稀疏图中的每行非空白像素依次向右平移，使得块内的像素与像素之间没有空白像素，块与块之间只有一个空白像素之隔，使所述稀疏图中的每行只有后段有像素值，前段都是空白区域。

6.根据权利要求1所述存储立体视频的方法，其特征在于，如果所述采集的视图超过两张，则所述方法还包括：

保存采集所述原视图与采集其他的每张视图的视点间的距离。

7.一种对利用权利要求1所述存储立体视频的方法得到的立体视频进行恢复的方法，其特征在于，所述方法包括：

对保存的原视图和深度图进行计算得到残缺的视图；

扫描所述残缺的视图，遇到空白像素从残余信息文件中读取对应的像素进行填补；将所述残缺的视图中的空洞部分全部填补完，恢复出完整的立体图。

8.根据权利要求7所述的恢复立体视频的方法，其特征在于，所述对保存的原视图和深度图进行计算得到残缺的视图，具体包括：

将所述深度图保存的恢度值转化为视差值，其中，所述视差值为所述原视图的像素点相对于原视图相邻的视图的视差值，所述视差值为所述像素点在水平轴上平移的位移量，所以所述原视图的每个像素点都有对应的位移量；

将所述原视图的每个像素点在水平轴上平移对应的位移量，得到所述残缺的视图。

9.根据权利要求8所述一种恢复立体视频的方法，其特征在于，如果所述采集的视图超过两张，即所述采集的视图包括所述原视图和所述原视图相邻的视图还包括其他视图，则所述将所述深度图保存的恢度值转化为视差值，得到所述原视图每个像素点的视差值还包括：

将采集所述原视图的视点与采集所述其他视图的每个视点间的距离带入到关系式中，计算得到所述原视图的每个像素点相对于每张其他视图的视差值；其中，所述关系式为第一视差值与第二视差值之比等于第一距离与第二距离之比，其中，所述第一视差值为所述原视图的一个像素点相对于所述原视图相邻的视图的视差值，所述第二视差值为所述像素点相对于一张其他视图的视差值，所述第一距离为采集所述原视图与所述原视图相邻的视图的视点间的距离，所述第二距离为采集原视图的视点与采集所述其他视图的视点间的距离。

10.根据权利要求7所述恢复立体视频的方法，其特征在于，所述扫描所述残缺的视图，遇到空白像素从残余信息文件中读取对应的像素进行填补，具体包括：

如果所述原视图为采集的最左侧视图，则从右到左扫描所述残缺的视图的每行像素，遇到空白像素从所述残余信息文件对应的块中的对应的行中读取对应的像素进行填补；

如果所述原视图为采集的最右侧视图，则从左到右扫描所述残缺的视图的每行像素，遇到空白像素从所述残余信息文件对应的块中的对应的行中读取对应的像素进行填补。

11.一种存储立体视频的装置，其特征在于，所述装置包括：

第一计算模块，用于在采集的多张视图中，从采集的最侧视图和最右侧视图中指定其中一张视图为原视图，另一张视图为待用视图，对所述原视图和原视图相邻的视图进行计算得到所述原视图对应的深度图；

第二计算模块，用于计算出所述原视图的每个像素点相对于所述待用视图的位移量，在水平轴上将所述原视图的每个像素点平移对应的位移量得到残缺的视图；

减去模块，用于用所述待用视图减去所述残缺的视图得到稀疏图；

存储模块，用于将所述稀疏图中非空白像素保存在残余信息文件中，保存所述原视图、所述深度图、所述残余信息文件。

12.根据权利要求11所述存储立体视频的装置，其特征在于，所述第一计算模块具体包括：

计算单元，用于计算出场景中的同一点分别投影在所述原视图和所述原视图相邻的视图中两个投影点的位置差，其中，所述位置差为所述点在原视图投影的像素点的视差值，将所述场景中的所有点按上述方法计算出在所述原视图投影的像素点的视差值；

转化单元，用于将所述计算单元计算出的视差值转化为恢度值；

存储单元，用于将所述转化单元转化的恢度值保存在一张深度图中得到所述深度图。

13.根据权利要求11所述存储立体视频的装置，其特征在于，所述第二计算模块具体包括：

转化单元，用于将所述深度图保存的恢度值转化为视差值，将所述转化的视差值带入关系式中计算得到所述原视图每个像素点相对于所述待用视图的视差值，其中，所述关系式为第一视差值与第二视差值之比等于第一距离与第二距离之比，所述第一视差值为所述原视图的一个像素点相对于所述原视图相邻的视图的视差值，所述第二视差值为所述像素点相对于所述待用视图的视差值，所述第一距离为采集所述原视图与所述原视图相邻的视图的视点间的距离，所述第二距离为采集所述原视图与所述待用视图的视点间的距离，所述视差值为像素点在水平轴上平移的位移量，所以将所述计算出的视差值作为所述原视图的每个像素点对应的位移量；

平移单元，用于将所述原视图的每个像素点在水平轴上平移各自对应的位移量得到一张所述残缺的视图。

14.根据权利要求11所述存储立体视频的装置，其特征在于，所述存储模块具体包括：

聚集单元，用于聚集所述稀疏图中的每行非空白像素，使得每个块内的像素与像素之间没有空白像素；

存储单元，用于将所述稀疏图的每行像素信息保存在文件的对应的行中，得到所述残余信息文件。

15.根据权利要求14所述存储立体视频的装置，其特征在于，所述聚集单元可以具体包括：

第一平移子单元，用于将所述稀疏图中的每行非空白像素依次向左平移，使得块内的像素与像素之间没有空白像素，块与块之间只有一个空白像素之隔，使所述稀疏图中的每行前段有像素值，后段都是空白区域；

或者，所述聚集单元可以具体包括：

第二平移子单元，用于将所述稀疏图中的每行非空白像素依次向右平移，使得块内的像素与像素之间没有空白像素，块与块之间只有一个空白像素之隔，使所述稀疏图中的每行只有后段有像素值，前段都是空白区域。

16.根据权利要求11所述存储立体视频的装置，其特征在于，如果所述采集的视图超过两张，则所述装置还包括：

保存模块，用于将保存采集所述原视图的视点与采集其他的每张视图的视点之间的距离。

17.一种对利用权利要求11所述存储立体视频的装置得到的立体视频进行恢复的装置，其特征在于，所述装置包括：

计算模块，用于对原视图和深度图进行计算得到残缺的视图；

恢复模块，用于扫描所述残缺的视图，遇到空白像素从残余信息文件读取对应的像素进行填补；将所述残缺的视图中的空洞部分全部填补完，恢复出完整的立体图。

18.根据权利要求17所述恢复立体视频的装置，其特征在于，所述计算模块具体包括：

转化单元，用于将深度图保存的恢度值转化为视差值，得到所述原视图每个像素点的视差值，其中，所述视差值为所述原视图的像素点相对于原视图相邻的视图的视差值，所述视差值为像素点在水平轴上平移的位移量，所以所述原视图的每个像素点在水平轴上都有对应的位移量；

平移单元，用于将所述原视图的每个像素点在水平轴上平移对应的位移量，得到所述残缺的视图。

19.根据权利要求18所述恢复立体视频的装置，其特征在于，如果所述采集的视图包括原视图和原视图相邻的视图，还包括其他的视图，则所述转化单元还包括：

将采集所述原视图的视点与采集所述其他视图的每个视点间的距离带入到关系式中计算得到所述原视图的每个像素点相对于每张其他视图的视差值；其中，所述关系式为第一视差值与第二视差值之比等于第一距离与第二距离之比，其中，所述第一视差值为所述原视图的一个像素点相对于所述原视图相邻的视图的视差值，所述第二视差值为所述像素点相对于一张其他视图的视差值，所述第一距离为采集所述原视图与所述原视图相邻的视图的视点间的距离，所述第二距离为采集原视图的视点与采集所述其他视图的视点间的距离。

20.根据权利要求17所述一种恢复立体视频的装置，其特征在于，所述恢复模块具体包括：

填补单元，用于如果所述原视图为采集的最左侧视图，则从右到左扫描所述每张残缺的视图的每行像素，遇到空白像素从所述残余信息文件对应的块中的对应的行中读取对应的像素进行填补；如果所述原视图为采集的最右侧视图，则从左到右扫描所述每张残缺的视图的每行像素，遇到空白像素从所述残余信息文件对应的块中的对应行中读取对应的像素进行填补。

21.一种恢复立体视频的系统，其特征在于，所述系统包括：

存储视频装置，用于在采集的多张视图中，从采集的最左侧视图和采集的最右侧视图中指定其中一张视图为原视图，另一张视图为待用视图，对所述原视图和原视图相邻的视图进行计算得到所述原视图对应的深度图，计算出所述原视图每个像素点相对于所述待用视图的位移量，在水平轴上将所述原视图的每个像素点平移对应的位移量得到残缺的视图，用所述待用视图减去所述残缺的视图得到稀疏图，将所述稀疏图中非空白像素保存在残余信息文件中，保存所述原视图、所述深度图和所述残余信息文件；

恢复视频装置，用于对所述保存的所述原视图和所述深度进行计算得到残缺的视图，扫描所述残缺的视图，遇到空白像素从所述残余信息文件中读取对应的像素进行填补，将所述残缺的视图中的空白像素填补完，得到完整的立体图。

22.根据权利要求21所述恢复立体视频的系统，其特征在于，如果所述采集的视图包括原视图和原视图相邻的视图还包括其他视图，所述存储视频装置还包括：

存储模块，用于保存采集原视图与原视图相邻的视图的两视点间的距离，采集原视图与每张其他视图的视点间的距离；

所述恢复立体视频装置还包括：

计算模块，用于对所述深度图、所述原视图、所述残余信息文件和所述视点间的距离计算出所述每张其他视图对应的残缺的视图。

Images