CN102055968B - 多视点视频中丢失的视频数据的恢复方法、系统及设备 - Google Patents

Abstract

本发明公开了一种多视点视频中丢失的视频数据的恢复方法、系统及设备，用以消除重建帧具有的分块效应，提升重建帧的视频质量。多视点视频中丢失的视频数据的恢复方法，包括：接收视频发送端发送的多视点视频编码码流，其中每一个视角的视频编码码流中携带本视角的摄像机参数；检测出当前正在播放视角的视频编码码流中存在丢失了视频数据的丢失帧时，根据接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧、以及相关视角的摄像机参数，恢复出若干备选重建帧；并从恢复出的若干备选重建帧中选取一个作为丢失帧的重建帧。

Description

多视点视频中丢失的视频数据的恢复方法、系统及设备

技术领域

本发明涉及多视点视频领域，尤其涉及一种多视点视频中丢失的视频数据的恢复方法、系统及设备。

背景技术

多视点视频是视频业务的一项重要内容，其特点是用户可以自由地选择观看的视角，从而可以观看被拍摄物体(场景)的不同侧面。如图1所示，多视点视频的实现方法是在拍摄时通过多个角度对同一物体(场景)进行拍摄，按照顺时针方向视角编号依次为1、2、3...16；在编码时对每一个视角的视频流分别进行编码，得到多视点视频编码码流(包括每一个视角的视频编码码流)；在播放时需要根据用户需求对相应视角的视频编码码流进行解码和显示。

如图2所示，为具有五个视角的多视点视频编码码流的帧结构示意图，其中横坐标表示时间(t)，纵坐标表示视角编号。各帧图像定义为I帧、P帧和B帧三种类型，其中I帧为帧内编码图像，是只使用本帧内的数据进行编码的图像；P帧为前向预测编码图像，是根据前面最近的I帧或P帧作为参考帧进行前向预测编码的图像；B帧为双向预测编码图像，是根据前面和后面的I帧或P帧进行双向预测编码的图像。

多视点视频编码码流在进行网络传输时会出现丢失视频数据的情况。由于多视点视频编码码流以视频帧为单位，所以某一视频帧的部分视频数据丢失很可能导致该视频帧无法解码；并且由于视频帧的解码有依赖关系，如果某个视角的视频编码码流中I帧或P帧丢失(全部视频数据或部分视频数据丢数)，将导致该视角的视频编码码流中后续视频帧无法解码。

现有技术中针对多视点视频编码码流中视频数据丢失的情况，提供了对视频数据进行处理的方案，如果视频编码码流中存在视频数据的丢失，则对丢失的视频数据进行预测估计和补偿，需要从丢失了视频数据的视频帧(本申请文件中称为丢失帧)的前向视频帧中提取视频数据宏块整体复制到该丢失帧中，得到重建帧，从而恢复出丢失的视频数据。该方案导致重建帧有较明显的分块效应，重建帧的视频质量较差。

发明内容

本发明提供一种多视点视频中丢失的视频数据的恢复方法、系统及设备，用以消除重建帧具有的分块效应，提升重建帧的视频质量。

本发明提供一种多视点视频中丢失的视频数据的恢复方法，包括：

接收视频发送端发送的多视点视频编码码流，其中每一个视角的视频编码码流中携带本视角的摄像机参数；

检测出当前正在播放视角的视频编码码流中存在丢失了视频数据的丢失帧时，根据接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧、以及相关视角的摄像机参数，恢复出若干备选重建帧；并

从恢复出的若干备选重建帧中选取一个作为丢失帧的重建帧。

本发明提供一种多视点视频中丢失的视频数据的恢复系统，包括：

视频发送端，用于发送多视点视频编码码流，其中每一个视角的视频编码码流中携带本视角的摄像机参数；

视频接收端，用于接收视频发送端发送的所述多视点视频编码码流，检测出当前正在播放视角的视频编码码流中存在丢失了视频数据的丢失帧时，根据接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧、以及相关视角的摄像机参数，恢复出若干备选重建帧；并从恢复出的若干备选重建帧中选取一个作为丢失帧的重建帧。

本发明提供一种视频接收端的解码设备，包括：

接收单元，用于接收视频发送端发送的多视点视频编码码流，其中每一个视角的视频编码码流中携带本视角的摄像机参数；

恢复单元，用于检测出当前正在播放视角的视频编码码流中存在丢失了视频数据的丢失帧时，根据接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧、以及相关视角的摄像机参数，恢复出若干备选重建帧；

选取单元，用于从恢复出的若干备选重建帧中选取一个作为丢失帧的重建帧。

本发明提供的多视点视频中丢失的视频数据的恢复方法、系统及设备，视频接收端检测出当前正在播放视角的视频编码码流中存在丢失帧时，根据接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧、以及相关视角的摄像机参数，恢复出若干备选重建帧，并选取一个作为重建帧。本方案利用接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧，恢复出若干个备选重建帧，充分利用了空间上不同视角的视频冗余信息，有效解决了多视点视频中视频数据丢失的错误隐藏问题，提升了丢失帧的重建帧的视频质量；该方案实现简单，并可普遍适用于丢失了全部视频数据或者部分视频数据的丢失帧的视频数据恢复。

附图说明

图1为现有技术中多视点视频的实现方法示意图；

图2为现有技术中多视点视频编码码流的帧结构示意图；

图3为本发明实施例中丢失的视频数据的恢复系统示意图；

图4为本发明实施例中视频接收端的编码设备的结构框图；

图5为本发明实施例中丢失的视频数据的恢复方法流程图。

具体实施方式

本发明实施例针对多视点视频编码码流中视频数据丢失的情况，提供了一种多视点视频中丢失的视频数据的恢复方法及系统，用以消除重建帧具有的分块效应，提升重建帧的视频质量。

首先介绍现有多视点视频的实现系统，由视频发送端、传输网络和视频接收端组成。视频发送端包括摄像机采集系统和编码设备，摄像机采集系统用于采集每一个视角的视频流；编码设备用于对摄像机采集系统采集到的每一个视角的视频流分别进行编码，得到多视点视频编码码流，多视点视频编码码流包括每一个视角的视频编码码流。视频接收端包括解码设备和显示设备，解码设备用于接收多视点视频编码码流，根据用户需求对相应视角的视频编码码流进行解码；显示设备用于显示解码设备解码后得到的视频图像。

本发明实施例为了恢复多视点视频中丢失的视频数据，对视频发送端和视频接收端进行了如下改进：

对于视频发送端来说，视频发送端发送的多视点视频编码码流，其中每一个视角的视频编码码流中携带本视角的摄像机参数。视频发送端的改进可以通过对编码设备进行相应改造实现。

具体实施中，视频发送端在发送所述多视点视频编码码流之前，可以根据每一个视角的视频流通过摄像机标定方法标定每一个视角的摄像机参数(包括内部参数和外部参数)。多视点视频编码码流中携带的每一个视角的摄像机参数也可以通过其它方式获得，例如预先配置。

摄像机采集系统在对同一物体(场景)进行多个角度的拍摄时，由每一个视角的摄像机成像几何模型决定空间物点与该视角的二维像点之间的对应关系，摄像机成像几何模型参数即摄像机参数。空间物点坐标与二维像点坐标之间的关系如公式[1]所示：

X_p＝M1M2X_w        [1]

其中，X_w表示空间物点坐标，X_p表示二维像点坐标，M1表示摄像机内部参数，M2表示摄像机外部参数。

摄像机标定是确定摄像机参数的一个过程，即确定摄像机的内部几何和光学参数(内部参数)和确定摄像机坐标系相对世界坐标系的三维位置和方向关系(外部参数)。

对于视频接收端来说，检测出当前正在播放视角的视频编码码流中存在丢失了视频数据的丢失帧时，根据接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧、以及相关视角的摄像机参数，恢复出丢失帧的重建帧。视频接收端的改进可以通过对解码设备进行相应改造实现。

基于以上分析，本发明实施例提供了一种多视点视频中丢失的视频数据的恢复系统，如图3所示，包括：

视频发送端301，用于发送多视点视频编码码流，其中每一个视角的视频编码码流中携带本视角的摄像机参数；

视频接收端302，用于接收视频发送端301发送的该多视点视频编码码流，检测出当前正在播放视角的视频编码码流中存在丢失了视频数据的丢失帧时，根据接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧、以及相关视角的摄像机参数，恢复出若干备选重建帧；并从恢复出的若干备选重建帧中选取一个作为丢失帧的重建帧。

具体实施中，视频接收端302，进一步用于从其它视角选取第一视角和第二视角，其中每一次选取出的第一视角和第二视角的组合各不相同；分别根据各次选取出的第一视角和第二视角的视频编码码流中与丢失帧处于相同时间位置上的两个视频帧、以及所述第一视角、第二视角和当前正在播放视角的摄像机参数，恢复出若干备选重建帧。

具体实施中，视频接收端302，进一步用于如果恢复出一个备选重建帧，选取该备选重建帧作为丢失帧的重建帧；如果恢复出两个备选重建帧，选取备选重建帧对应的第一视角和第二视角之间的夹角较小的备选重建帧作为丢失帧的重建帧；如果恢复出三个或以上备选重建帧，分别计算每一个备选重建帧与其它备选重建帧之间的差值之和，选取差值之和的最小值对应的备选重建帧作为丢失帧的重建帧。

具体实施中，视频发送端301，还用于在发送该多视点视频编码码流之前，根据每一个视角的视频流标定每一个视角的摄像机参数。

视频接收端的改进可以通过对解码设备进行相应改造实现，本发明实施例同时提供了一种视频接收端的解码设备的可能结构，如图4所示，包括：

接收单元401，用于接收视频发送端发送的多视点视频编码码流，其中每一个视角的视频编码码流中携带本视角的摄像机参数；

恢复单元402，用于检测出当前正在播放视角的视频编码码流中存在丢失了视频数据的丢失帧时，根据接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧、以及相关视角的摄像机参数，恢复出若干备选重建帧；

选取单元403，用于从恢复出的若干备选重建帧中选取一个作为丢失帧的重建帧。

具体实施中，恢复单元402具体可以包括：

视角选取子单元4021，用于从其它视角选取第一视角和第二视角，其中每一次选取出的第一视角和第二视角的组合各不相同；

重建子单元4022，用于分别根据各次选取出的第一视角和第二视角的视频编码码流中与丢失帧处于相同时间位置上的两个视频帧、以及所述第一视角、第二视角和当前正在播放视角的摄像机参数，恢复出若干备选重建帧。

具体实施中，选取单元403具体可以包括：

控制子单元4031，用于如果恢复单元恢复出一个备选重建帧，触发第一选取子单元4032，如果恢复单元恢复出两个备选重建帧，触发第二选取子单元4033，如果恢复单元恢复出三个或以上备选重建帧，触发第三选取子单元4034；

第一选取子单元4032，用于选取恢复单元恢复出的该备选重建帧作为丢失帧的重建帧；

第二选取子单元4033，用于选取备选重建帧对应的第一视角和第二视角之间的夹角较小的备选重建帧作为丢失帧的重建帧；

第三选取子单元4034，用于分别计算每一个备选重建帧与其它备选重建帧之间的差值之和，选取差值之和的最小值对应的备选重建帧作为丢失帧的重建帧。

基于同一技术构思，本发明实施例提供了一种多视点视频中丢失的视频数据的恢复方法，如图5所示，包括：

S501、接收视频发送端发送的多视点视频编码码流，其中每一个视角的视频编码码流中携带本视角的摄像机参数；

S502、检测出当前正在播放视角的视频编码码流中存在丢失了视频数据的丢失帧时，根据接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧、以及相关视角的摄像机参数，恢复出若干备选重建帧；

具体实施中，从其它视角中选取第一视角和第二视角，其中每一次选取出的第一视角和第二视角的组合各不相同；分别根据各次选取出的第一视角和第二视角的视频编码码流中与丢失帧处于相同时间位置上的两个视频帧、以及该第一视角、第二视角和当前正在播放视角的摄像机参数，恢复出若干备选重建帧。由于空间物点坐标与每一个视角的二维像点坐标之间存在如下关系X_p＝M1M2X_w，根据第一视角和第二视角中与丢失帧处于相同时间位置上的两个视频帧的视频数据，以及第一视角、第二视角以及当前正在播放视角的摄像机参数，利用公式X_p＝M1M2X_w，采用现有的中间视图生成方法即可计算出当前正在播放视角中丢失帧的视频数据，从而恢复出备选重建帧。

由于多视点视频中有至少三个视角，则当前正在播放视角之外的接收到的其它视角有至少两个，从至少两个其它视角中每次选取两个视角用于恢复备选重建帧，并保证每次选取的两个视角的组合各不相同，可以有至少一种选取方案，从而恢复出的备选重建帧有至少一个。当前正在播放视角之外的接收到的其它视角的数量与恢复出的备选重建帧的数量之间存在如下关系，如公式[2]所示：

$S=C_N^2=\frac{N(N-1)}{2}---\left[2\right]$

其中，S表示恢复出的备选重建帧的数量，N表示接收到的其它视角的数量。

较佳的，为了保证选取出的两个视角在当前正在播放视角的两侧，使得恢复出的备选重建帧接近于原丢失帧，第一视角从顺时针方向上与当前正在播放视角之间的夹角不大于设定的角度阈值的各视角中选取，第二视角从逆时针方向上与当前正在播放视角之间的夹角不大于角度阈值的各视角中选取，其中角度阈值小于180度。如图1所示的多视频编码码流中，假设当前正在播放视角为视角1，较佳的，选取出的两个视角为视角16和视角2、视角3和视角15、视角4和视角16等，一般不选取视角2和视角3、视角15和视角16等。

S503、从恢复出的若干备选重建帧中选取一个作为丢失帧的重建帧。

具体实施中，可以根据恢复出的备选重建帧的数量，采取不同的选取重建帧的策略：

如果恢复出一个备选重建帧，选取该备选重建帧作为丢失帧的重建帧。

如果恢复出两个备选重建帧，选取备选重建帧对应的第一视角和第二视角之间的夹角较小的备选重建帧作为丢失帧的重建帧。假设两个备选重建帧分别为Pr14、Pr24，Pr14对应的第一视角和第二视角分别为视角1和视角4、Pr24视角2和视角4，选取备选重建帧对应的第一视角和第二视角之间的夹角较小的备选重建帧Pr24作为丢失帧的重建帧，所述的夹角均是指锐角。

如果恢复出三个或以上备选重建帧，分别计算每一个备选重建帧与其它备选重建帧之间的差值之和，选取差值之和的最小值对应的备选重建帧作为丢失帧的重建帧；进一步，如果差值之和的最小值对应的备选重建帧有至少两个，选取差值之和的最小值对应的任一备选重建帧作为丢失帧的重建帧，或者，从差值之和的最小值对应的各备选重建帧中，选取备选重建帧对应的第一视角和第二视角之间的夹角最小的备选重建帧作为丢失帧的重建帧。

具体的，每一个备选重建帧与其它备选重建帧之间的差值之和的计算方法包括：分别计算备选重建帧与每一个其它备选重建帧之间的绝对差值，备选重建帧与任一其它备选重建帧之间的绝对差值为备选重建帧与该其它备选重建帧中各对应像素点的亮度值之间的差值绝对值之和；将得到的各绝对差值求和，得到备选重建帧与其它备选重建帧之间的差值之和。

举例进行说明。如图2所示的多视点视频编码码流的帧结构示意图，多视点视频包括五个视角，每一个视角独立编解码。假设当前正在播放的视角为视角4，视角4的视频帧P[4][3]中丢失了全部或者部分视频数据，则P[4][3]即为丢失帧，后续处理流程包括：

从接收到的其它视角(视角1、视角2、视角3和视角5)中选取第一视角和第二视角，并保证选取出的两个视角在当前正在播放视角(视角4)的两侧，则选取出的第一视角和第二视角的组合分别为视角3和视角5、视角2和视角5、视角1和视角5。

根据视角3和视角5中与丢失帧P[4][3]处于相同时间位置上的视频帧P[3][3]和P[5][3]、以及视角3、视角5和视角4的摄像机参数，可以恢复出备选重建帧Pr35；根据视角2和视角5中与丢失帧P[4][3]处于相同时间位置上的视频帧P[2][3]、P[5][3]、以及视角2、视角5和视角4的摄像机参数，可以恢复出备选重建帧Pr25；根据视角1和视角5中与丢失帧P[4][3]处于相同时间位置上的视频帧P[1][3]、P[5][3]、以及视角1、视角5和视角4的摄像机参数，可以恢复出备选重建帧Pr15。

由于恢复出三个备选重建帧Pr35、Pr25、Pr15，需要从Pr35、Pr25、Pr15中选取一个作为丢失帧P[4][3]的重建帧，具体的分别计算每一个备选重建帧与其它备选重建帧之间的差值之和，选取差值之和的最小值对应的备选重建帧作为丢失帧的重建帧；

对于Pr35，首先计算Pr35与Pr25、Pr15的绝对差值SADr25_r35、SADr15_r35，再将绝对差值相加得到Pr35与Pr25、Pr15之间的差值之和即SADr35＝SADr25_r35+SADr15_r35；对于Pr25，首先计算Pr25与Pr35、Pr15的绝对差值SADr35_r25、SADr15_r25，再将绝对差值相加得到Pr25与Pr35、Pr15之间的差值之和即SADr25＝SADr35_r25+SADr15_r25；对于Pr15，首先计算Pr15与Pr35、Pr25的绝对差值SADr35_r15、SADr25_r15，再将绝对差值相加得到Pr15与Pr35、Pr25之间的差值之和即SADr15＝SADr35_r15+SADr25_r15；选取SADr15、SADr25、SADr35中的最小值对应的备选重建帧作为丢失帧P[4][3]的重建帧，假设最小值为SADr35，则选取备选重建帧Pr35作为丢失帧P[4][3]的重建帧。

本发明提供的多视点视频中丢失的视频数据的恢复方法、系统及设备，视频接收端检测出当前正在播放视角的视频编码码流中存在丢失帧时，根据接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧、以及相关视角的摄像机参数，恢复出若干备选重建帧，并选取一个作为重建帧。本方案利用接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧，恢复出若干个备选重建帧，充分利用了空间上不同视角的视频冗余信息，有效解决了多视点视频中视频数据丢失的错误隐藏问题，提升了丢失帧的重建帧的视频质量；该方案实现简单，并可普遍适用于丢失了全部视频数据或者部分视频数据的丢失帧的视频数据恢复。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种多视点视频中丢失的视频数据的恢复方法，其特征在于，包括：

接收视频发送端发送的多视点视频编码码流，其中每一个视角的视频编码码流中携带本视角的摄像机参数；

检测出当前正在播放视角的视频编码码流中存在丢失了视频数据的丢失帧时，根据接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧、以及相关视角的摄像机参数，恢复出若干备选重建帧，其中，根据接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧、以及相关视角的摄像机参数，恢复出若干备选重建帧，具体包括：从其它视角中选取第一视角和第二视角，其中每一次选取出的第一视角和第二视角的组合各不相同，并分别根据各次选取出的第一视角和第二视角的视频编码码流中与丢失帧处于相同时间位置上的两个视频帧、以及所述第一视角、第二视角和当前正在播放视角的摄像机参数，恢复出若干备选重建帧；并

从恢复出的若干备选重建帧中选取一个作为丢失帧的重建帧，其中，从恢复出的若干备选重建帧中选取一个作为丢失帧的重建帧，具体包括：如果恢复出一个备选重建帧，选取该备选重建帧作为丢失帧的重建帧；如果恢复出两个备选重建帧，选取备选重建帧对应的第一视角和第二视角之间的夹角较小的备选重建帧作为丢失帧的重建帧；如果恢复出三个或以上备选重建帧，分别计算每一个备选重建帧与其它备选重建帧之间的差值之和，选取差值之和的最小值对应的备选重建帧作为丢失帧的重建帧。

2.如权利要求1所述的方法，其特征在于，

所述第一视角从顺时针方向上与当前正在播放视角之间的夹角不大于设定的角度阈值的各视角中选取，所述第二视角从逆时针方向上与当前正在播放视角之间的夹角不大于所述角度阈值的各视角中选取，所述角度阈值小于180度。

3.如权利要求1所述的方法，其特征在于，如果差值之和的最小值对应的备选重建帧有至少两个，选取差值之和的最小值对应的任一备选重建帧作为丢失帧的重建帧；或者，从差值之和的最小值对应的各备选重建帧中，选取备选重建帧对应的第一视角和第二视角之间的夹角最小的备选重建帧作为丢失帧的重建帧。

4.如权利要求1所述的方法，其特征在于，备选重建帧与其它备选重建帧之间的差值之和的计算方法，具体包括：

分别计算备选重建帧与每一个其它备选重建帧之间的绝对差值，备选重建帧与任一其它备选重建帧之间的绝对差值为备选重建帧与该其它备选重建帧中各对应像素点的亮度值之间的差值绝对值之和；

将得到的各绝对差值求和，得到备选重建帧与其它备选重建帧之间的差值之和。

5.如权利要求1所述的方法，其特征在于，还包括：

所述视频发送端在发送所述多视点视频编码码流之前，根据每一个视角的视频流标定每一个视角的摄像机参数。

6.一种多视点视频中丢失的视频数据的恢复系统，其特征在于，包括：

视频发送端，用于发送多视点视频编码码流，其中每一个视角的视频编码码流中携带本视角的摄像机参数；

视频接收端，用于接收视频发送端发送的所述多视点视频编码码流，检测出当前正在播放视角的视频编码码流中存在丢失了视频数据的丢失帧时，根据接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧、以及相关视角的摄像机参数，恢复出若干备选重建帧；并从恢复出的若干备选重建帧中选取一个作为丢失帧的重建帧；

其中：

所述视频接收端，进一步用于从其它视角中选取第一视角和第二视角，其中每一次选取出的第一视角和第二视角的组合各不相同；分别根据各次选取出的第一视角和第二视角的视频编码码流中与丢失帧处于相同时间位置上的两个视频帧、以及所述第一视角、第二视角和当前正在播放视角的摄像机参数，恢复出若干备选重建帧；如果恢复出一个备选重建帧，选取该备选重建帧作为丢失帧的重建帧；如果恢复出两个备选重建帧，选取备选重建帧对应的第一视角和第二视角之间的夹角较小的备选重建帧作为丢失帧的重建帧；如果恢复出三个或以上备选重建帧，分别计算每一个备选重建帧与其它备选重建帧之间的差值之和，选取差值之和的最小值对应的备选重建帧作为丢失帧的重建帧。

7.如权利要求6所述的系统，其特征在于，

所述视频发送端，还用于在发送所述多视点视频编码码流之前，根据每一个视角的视频流标定每一个视角的摄像机参数。

8.一种视频接收端的解码设备，其特征在于，包括：

接收单元，用于接收视频发送端发送的多视点视频编码码流，其中每一个视角的视频编码码流中携带本视角的摄像机参数；

恢复单元，用于检测出当前正在播放视角的视频编码码流中存在丢失了视频数据的丢失帧时，根据接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧、以及相关视角的摄像机参数，恢复出若干备选重建帧；

选取单元，用于从恢复出的若干备选重建帧中选取一个作为丢失帧的重建帧；

其中：

所述恢复单元具体包括：

视角选取子单元，用于从其它视角中选取第一视角和第二视角，其中每一次选取出的第一视角和第二视角的组合各不相同；重建子单元，用于分别根据各次选取出的第一视角和第二视角的视频编码码流中与丢失帧处于相同时间位置上的两个视频帧、以及所述第一视角、第二视角和当前正在播放视角的摄像机参数，恢复出若干备选重建帧；

所述选取单元具体包括：

控制子单元，用于如果恢复单元恢复出一个备选重建帧，触发第一选取子单元，如果恢复单元恢复出两个备选重建帧，触发第二选取子单元，如果恢复单元恢复出三个或以上备选重建帧，触发第三选取子单元；所述第一选取子单元，用于选取恢复单元恢复出的该备选重建帧作为丢失帧的重建帧；所述第二选取子单元，用于选取备选重建帧对应的第一视角和第二视角之间的夹角较小的备选重建帧作为丢失帧的重建帧；所述第三选取子单元，用于分别计算每一个备选重建帧与其它备选重建帧之间的差值之和，选取差值之和的最小值对应的备选重建帧作为丢失帧的重建帧。

Images