CN102342117A - 多视点运动图像解码装置及多视点运动图像解码方法 - Google Patents

Abstract

即使在发生了错误的情况下，也能够充分抑制解码图像的紊乱。将包含被编码的第1视点的第1运动图像信息以及被编码的第2视点的第2运动图像信息的运动图像流解码的多视点运动图像解码装置(100)具备将运动图像流解码的解码部(120)、从运动图像流中检测错误的错误检测部(130)、以及将检测到的错误修复的错误图像修复部(140)，错误图像修复部(140)具备：解码控制部(142)，在第1运动图像信息所包含的第1编码图像信息中检测到错误的情况下，控制解码部(120)以使其将预定在第1编码图像信息之后解码的、第2运动图像信息所包含的第2编码图像信息解码；以及修复处理部(143)，该修复处理部(143)使用通过解码第2编码图像信息而生成的解码图像信息，修复检测到的错误。

Description

多视点运动图像解码装置及多视点运动图像解码方法

技术领域

本发明涉及解码为了立体视而将多个视点的运动图像信息编码而成的运动图像流的多视点运动图像解码装置，特别涉及解码将1个视点的运动图像信息参照别的视点的运动图像信息编码而成的运动图像流的多视点运动图像解码装置。

背景技术

作为将运动图像信息压缩编码的技术之一，已知有按照MPEG(MovingPicture Experts Group)标准编码的技术。近年来，作为普及的主要的MPEG标准，已知有MPEG2、MPEG4及MPEG4 AVC等。

这些压缩技术的主要特征是将编码对象的图片(以下称作编码对象图片)与已经被编码并被重构的图片(以下称作参照图片)之差编码。具体而言，对编码对象图片与参照图片之差进行离散余弦变换(DCT：DiscreteCosine Transform)和量化，对量化的结果进行可变长度编码。

以下，说明对以上述压缩编码技术编码的图像数据进行解码的情况。例如，以MPEG2编码的图像数据由I图片、P图片、B图片这3种图片构成。

I图片是不参照其他图片而编码的图片。因而，在将I图片解码时，能够以I图片单体解码。

P图片是参照过去的I图片或P图片并使用与参照的图片之差来编码的图片。因而，在将P图片解码时，由于参照过去的I图片或P图片解码，所以需要将参照的I图片或P图片预先解码。

B图片是参照过去的I图片或P图片和未来的I图片或P图片并使用与参照的图片之差来编码的图片。因而，在将B图片解码时，由于参照前后的I图片或P图片解码，所以需要将参照的前后的I图片或P图片预先解码。

此外，近年来，已知将从多个视点分别拍摄的运动图像数据(多个通道的运动图像数据)基于H.264/MVC标准编码的技术。在H.264/MVC标准中，利用多个运动图像数据间的相关关系提高压缩率。即，多个运动图像数据是通过从多个视点拍摄被摄体而得到的数据，所以具有相互类似的特征。利用该特征，在H.264/MVC标准中，参照其他通道的运动图像数据，将1个通道的运动图像数据编码。H.264/MVC标准例如在将视听者能够立体地感知的三维影像编码时使用。

另外，由于在多个通道的运动图像数据间有参照关系，所以可以想到，在被从其他运动图像数据参照的运动图像数据发生了错误的情况下，不能取得正确的参照图像，不能生成正确的解码图像。在此情况下，解码图像紊乱。特别是，在由多个通道构成的多视点运动图像的情况下，因解码图像的紊乱而显示存在别扭感的三维影像。

在专利文献1中，公开了在发生错误的情况下将错误修复的数据解码装置。专利文献1中公开的数据解码装置在输入的编码数据中检测到错误的情况下，利用第1修复机构及第2修复机构中的某一个修复错误，该第1修复机构使用与检测到错误的通道相同通道的数据修复错误，该第2修复机构使用与检测到错误的通道不同的通道的数据修复错误。

在专利文献2中也同样，公开了在发生了错误的情况下修复错误的立体运动图像再生装置。专利文献2中公开的立体运动图像再生装置在图像数据中检测到错误时，以图像单位用其他通道的图像数据替代错误图像数据来进行填补。

专利文献1及专利文献2中公开的这些技术是MPEG等编码技术的特征之一，是利用在今后的解码处理时有可能被参照的图像，置换发生了错误的图像即错误图像的错误修复技术。

先行技术文献

专利文献

专利文献1：特许第3992533号公报

专利文献2：特许第3332575号公报

发明概要

发明要解决的课题

但是，在上述现有技术中，存在以下课题，即：不能充分地抑制在发生了错误的情况下发生的解码图像的紊乱。

如上述那样，在专利文献1及专利文献2所记载的技术中，在检测到错误的情况下，使用已经解码的图像数据修复错误。但是，将已经解码的图像数据作为置换错误的图像并不一定总是最适合的。

例如，在由左眼用图像和右眼用图像构成的三维图像中，作为与左眼用图像的相关，有时与之前或之后的左眼用图像相比，相同时刻的右眼用图像更高。在此情况下，在左眼用图像中发生了错误的情况下，为了修复错误而优选使用右眼用图像。但是，在同一时刻的右眼用图像在左眼用图像之后被解码的情况下，不能在修复错误中使用右眼用图像。

如以上那样，在上述现有技术中，不能选择更适合于修复错误的图像，不能充分地抑制解码图像的紊乱。

发明内容

所以，本发明是为了解决上述现有课题而做出的，目的是提供一种即使在发生了错误的情况下也能够充分地抑制解码图像的紊乱的多视点运动图像解码装置及多视点运动图像解码方法。

用于解决课题的手段

为了解决上述课题，本发明的多视点运动图像解码装置将包含被编码的第1视点的第1运动图像信息、以及与上述第1视点不同的第2视点的被编码的第2运动图像信息的运动图像流解码，具备：解码部，将上述运动图像流解码；错误检测部，从上述运动图像流中检测错误；以及错误修复部，将由上述错误检测部检测到的错误修复；上述错误修复部具备：解码控制部，在由上述错误检测部在包含于上述第1运动图像信息中的第1编码图像信息中检测到错误的情况下，控制上述解码部，以使其将预定比上述第1编码图像信息靠后解码的、包含在上述第2运动图像信息中的第2编码图像信息解码；以及修复处理部，使用上述解码部通过将上述第2编码图像信息解码而生成的解码图像信息，将由上述错误检测部检测到的错误修复。

由此，使用按照通常的解码顺序未解码的解码图像信息来修复错误，所以能够选择更适当的图像信息，能够充分地抑制解码图像的紊乱。

此外，也可以是，上述第2运动图像信息被参照上述第1运动图像信息编码；上述错误修复部还具备判定部，在上述第1编码图像信息中检测到错误的情况下，该判定部判定上述第2编码图像信息是否是帧内图像、或者是否需要视差补偿处理；上述解码控制部在由上述判定部判定为上述第2编码图像信息是帧内图像、或者不需要视差补偿处理的情况下，控制上述解码部，以使上述解码部将上述第2编码图像信息解码。

由此，不会参照发生了错误的第1编码图像信息将第2编码图像信息解码，所以能够将第2编码图像信息正确地解码，能够选择更适当的图像信息。

此外，也可以是，上述修复处理部用作为由上述解码部解码上述第2编码图像信息而生成的解码图像信息的第1修复图像信息，置换上述第1编码图像信息的解码结果。

此外，也可以是，上述第2编码图像信息是在与上述第1编码图像信息相同的时刻显示的图像信息。

由此，由于相同时刻的图像信息的相关较高，所以能够利用相关较高的图像信息修复错误。

此外，也可以是，上述修复处理部在由上述判定部判定为上述第2编码图像信息不是帧内图像、或者需要视差补偿处理的情况下，用作为在上述第1编码图像信息之前由上述解码部解码上述第1运动图像信息而生成的解码图像信息的第2修复图像信息，置换上述第1编码图像信息的解码结果。

由此，即使在参照发生了错误的第1编码图像信息将第2编码图像信息解码的情况下，也能够用修复图像信息置换第1编码图像信息的解码结果从而修复错误。

此外，也可以是，上述解码控制部在由上述判定部判定为上述第2编码图像信息不是帧内图像、或者需要视差补偿处理的情况下，控制上述解码部，以使在由上述修复处理部修复错误后，上述解码部将上述第2编码图像信息解码；上述解码部通过基于上述解码控制部的控制将上述第2编码图像信息解码，生成作为解码图像信息的第3修复图像信息；上述判定部还判定上述解码部在生成上述第3修复图像信息时是否参照了上述第2修复图像信息；上述修复处理部在由上述判定部判定为没有参照上述第2修复图像信息的情况下，用上述第3修复图像信息置换上述第2修复图像信息。

由此，能够在将第2编码图像信息解码后，再用第2编码图像信息的解码结果置换用于修复发生了错误的第1编码图像信息的第2修复图像信息。由于第2编码图像信息与第1编码图像信息相关较高，所以能够使用更适当的图像修复错误。

此外，也可以是，上述修复处理部使用上述解码部解码上述第2编码图像信息而生成的解码图像信息进行运动补偿处理，由此生成第4修复图像信息，并用上述第4修复图像信息置换上述第1编码图像信息的解码结果。

此外，也可以是，上述错误修复部以比帧小的处理单位用规定的图像信息置换发生了错误的图像信息，由此修复由上述错误检测部检测到的错误。

由此，能够尽量减少置换图像信息的区域，所以能够使错误修复后的图像成为别扭感较少的图像。

另外，本发明不仅能够作为多视点运动图像解码装置实现，还能够作为以构成该多视点运动图像解码装置的处理部为步骤的方法实现。此外，也可以作为使计算机执行这些步骤的程序实现。进而，也可以作为记录有该程序的计算机可读取的CD-ROM(Compact Disc-Read Only Memory)等记录介质、以及表示该程序的信息、数据或信号实现。并且，这些程序、信息、数据及信号也可以经由因特网等通信网络分发。

此外，构成上述各多视点运动图像解码装置的构成要素的一部分或全部也可以由1个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是将多个构成部集成在1个芯片上而制造的超多功能LSI，具体而言是包括微处理器、ROM及RAM(Random Access Memory)等而构成的计算机系统。

发明效果

根据有关本发明的多视点运动图像解码装置，即使在发生了错误的情况下，也能够提供可充分抑制解码图像的紊乱并减轻别扭感的图像。

附图说明

图1是表示有关实施方式1的多视点运动图像解码装置的结构的一例的框图。

图2是表示有关实施方式1的错误图像修复部的结构的一例的框图。

图3是表示由两个通道的运动图像信息构成的运动图像流的一例的图。

图4是表示有关实施方式1的多视点运动图像解码装置的动作中的、发生了错误的情况下的动作的一例的流程图。

图5A是表示没有被从其他运动图像信息参照的编码图片发生了错误的情况下的处理的一例的示意图。

图5B是表示被从其他运动图像信息参照的编码图片发生了错误的情况下的处理的一例的示意图。

图6是表示有关实施方式2的多视点运动图像解码装置的动作中的、发生了错误的情况下的动作的一例的流程图。

图7是表示具备有关本发明的多视点运动图像解码装置的数字电视机及数字视频记录器的一例的外观图。

具体实施方式

以下，使用附图对有关本发明的多视点运动图像解码装置及多视点运动图像解码方法的实施方式详细地说明。

(实施方式1)

有关实施方式1的多视点运动图像解码装置，是将包含被编码的第1视点的第1运动图像信息、以及参照该第1运动图像信息被编码的第2视点的第2运动图像信息的运动图像流解码的多视点运动图像解码装置，其特征在于，具备：解码部，将运动图像流解码；错误检测部，从运动图像流中检测错误；以及错误修复部，将由错误检测部检测到的错误修复；错误修复部具备：解码控制部，在由错误检测部在包含于第1运动图像信息中的第1编码图像信息中检测到错误的情况下，控制解码部，以使其将预定比第1编码图像信息靠后解码的、包含在第2运动图像信息中的第2编码图像信息解码；以及修复处理部，使用解码部通过将第2编码图像信息解码而生成的解码图像信息，修复由错误检测部检测到的错误。

图1是表示有关实施方式1的多视点运动图像解码装置100的结构的一例的框图。多视点运动图像解码装置100将包括分别对应于多个视点的多个运动图像信息的运动图像流解码。具体而言，多视点运动图像解码装置100从记录介质200读出运动图像流，将所读出的运动图像流解码，由此生成解码图像。所生成的解码图像向显示部210输出并显示。

多个运动图像信息例如是将通过从相互不同的视点拍摄被摄体而得到的运动图像基于规定的编码标准编码而生成的运动图像信息。具体而言，多个运动图像信息是第1视点的第1运动图像信息和第2视点的第2运动图像信息。例如，第1运动图像信息及第2运动图像信息对应于构成视听者能够立体地感知的三维影像的左眼用影像及右眼用影像。

规定的编码标准例如是H.264/MVC标准。第2运动图像信息被参照第1运动图像信息编码。即，包含在第2运动图像信息中的多个编码图像信息中的至少1个被参照第1运动图像信息编码。具体而言，第1运动图像信息是基础视野的运动图像信息，第2运动图像信息是从属视野的运动图像信息。

所谓基础视野的运动图像信息，是不参照其他视点的运动图像信息而单独编码的运动图像信息，是在将其他视点的运动图像信息编码时参照的运动图像信息。所谓从属视野的运动图像信息，是参照其他运动图像信息编码的运动图像信息。

以下，作为一例，说明运动图像流包括相当于左眼用影像的左眼用通道(Lch)的运动图像信息、以及相当于右眼用影像的右眼用通道(Rch)的运动图像信息的情况。进而，设想Lch的运动图像信息是基础视野的运动图像信息、Rch的运动图像信息是从属视野的运动图像信息的情况。另外，也可以Lch的运动图像信息是从属视野、Rch的运动图像信息是基础视野。

如图1所示，多视点运动图像解码装置100具备多路分离部110、解码部120、错误检测部130、以及错误图像修复部140。

多路分离部110将运动图像流分离为编码的运动图像信息和其他信息。编码的运动图像信息例如包括通过将运动图像数据所包含的图像基于H.264/MVC标准等编码而生成的编码图像信息。将分离得到的运动图像信息向解码部120输出。

另外，其他信息例如是包含在运动图像流中的声音数据及用户数据等。声音数据及用户数据等其他信息与有关本发明的特征没有特别关系，所以以下省略说明。

多路分离部110具体而言从记录介质200读出运动图像流，将读出的运动图像流分离。进而，多路分离部110将编码的运动图像信息分离为各通道的运动图像信息。即，运动图像流包括Lch的运动图像信息和Rch的运动图像信息，所以多路分离部110分离为Lch的运动图像信息和Rch的运动图像信息。各通道的运动图像信息包括编码图像信息。编码图像信息例如按照图片依次向解码部120输出。

另外，记录介质200是记录有运动图像流的记录介质，例如是DVD(Digital Versatile Disc)或BD(Blu-ray Disc)等光盘。此外，记录介质200也可以是HDD(Hard Disk Drive)等磁盘、或半导体存储器。

解码部120将从多路分离部110输入的编码图像信息依次解码。如图1所示，解码部120具备解码处理部121、矢量计算部122、补偿处理部123、解码图像信息构成部124、以及解码图像信息保存缓冲器125及126。

解码处理部121将输入的编码图像信息解码。编码图像信息是基于H.264/MVC标准编码的图像数据。具体而言，编码图像信息是通过将作为对象图像与参照图像之差的差信息、以及确定参照图像的信息等解码处理所需要的控制信息编码而生成的图像数据。

解码处理部121通过将编码图像信息解码而生成差信息和控制信息。将所生成的差信息向解码图像信息构成部124输出。将所生成的控制信息向矢量计算部122输出。

矢量计算部122基于输入的控制信息，计算运动矢量或视差矢量。将计算出的运动矢量或视差矢量向补偿处理部123输出。

补偿处理部123基于输入的运动矢量或视差矢量来参照保存在解码图像信息保存缓冲器125或126中的解码图像信息，由此生成运动补偿图像信息或视差补偿图像信息。将所生成的运动补偿图像或视差补偿图像向解码图像信息构成部124输出。

解码图像信息构成部124通过将从解码处理部121输入的差信息、与从补偿处理部123输入的运动补偿图像信息或视差补偿图像信息相加，生成解码图像信息。将所生成的解码图像信息向解码图像信息保存缓冲器125或126保存。具体而言，解码图像信息构成部124在所生成的解码图像信息是Lch的图像信息的情况下，将解码图像信息向解码图像信息保存缓冲器125保存。此外，解码图像信息构成部124在所生成的解码图像信息是Rch的图像信息的情况下，将解码图像信息向解码图像信息保存缓冲器126保存。

解码图像信息保存缓冲器125是用来保存Lch的解码图像信息的缓冲存储器。

解码图像信息保存缓冲器126是用来保存Rch的解码图像信息的缓冲存储器。另外，解码图像信息保存缓冲器125及126既可以是在物理上不同的两个缓冲存储器，也可以是物理上为1个的缓冲存储器在逻辑上被区域分割而成的存储器区域。

错误检测部130从运动图像流中检测错误。具体而言，错误检测部130通过监视多路分离部110或解码部120的动作状态而检测错误。具体而言，错误检测部130将多路分离部110从记录介质200读出运动图像流失败的情况、例如读出的运动图像流的一部分缺失的情况检测为错误，将发生了错误的情况向错误图像修复部140通知。或者，在解码处理部121对编码图像信息解码失败的情况、例如编码图像信息的编码不符合标准的情况下，错误检测部130设为检测到错误，将发生了错误的情况向错误图像修复部140通知。

错误图像修复部140在由错误检测部130检测到错误的情况下，将检测到的错误修复。具体而言，错误图像修复部140确定发生了错误的图像(以下称作错误图像信息)，通过用规定的图像(以下称作修复图像信息)置换所确定的错误图像信息来修复错误。

图2是表示有关实施方式1的错误图像修复部140的结构的一例的框图。如图2所示，错误图像修复部140具备判定部141、解码控制部142、以及修复处理部143。

判定部141判定错误在第1运动图像信息及第2运动图像信息中的哪个发生。换言之，判定部141判定错误在基础视野的运动图像信息及从属视野的运动图像信息中的哪个发生。

进而，在第1运动图像信息发生错误的情况下，判定部141判定预定在发生了检测到的错误的第1编码图像信息之后解码的、第2运动图像信息所包含的第2编码图像信息是否是帧内图像、或者是否需要视差补偿处理。具体而言，判定部141在基础视野的运动图像信息发生错误的情况下，判定预定在发生了检测到的错误的第1编码图片的下一个解码的、从属视野的运动图像信息所包含的第2编码图片是否参照发生了错误的第1编码图片解码。

进而，判定部141判定在用规定的修复图像信息置换发生了错误的第1编码图像信息的解码结果后、在解码部120解码第2编码图像信息而生成解码图像信息时，是否参照了置换后的修复图像信息。具体而言，判定部141判定在将第2编码图片解码时、解码部120是否参照了通过解码发生了错误的第1编码图片而生成的解码图片所包含的错误图像信息。

解码控制部142在由错误检测部130在第1编码图像信息中检测到错误的情况下，控制解码部120，以使其将预定比该第1编码图像信息靠后解码的第2编码图像信息解码。

具体而言，解码控制部142在由判定部141判定为第2编码图像信息是帧内图像、或者不需要视差补偿处理的情况下，控制解码部120，以使解码部120将第2编码图像信息解码。换言之，解码控制部142使解码部120将预定在基础视野的运动图像信息所包含的发生了错误的第1编码图片的下一个解码的、从属视野的运动图像信息所包含的第2编码图片解码。

进而，解码控制部142在由判定部141判定为第2编码图像信息不是帧内图像、或者需要视差补偿处理的情况下，控制解码部120，以使在由修复处理部143修复错误后，解码部120将第2编码图像信息解码。即，解码控制部142在预定下一个解码的、从属视野的运动图像信息所包含的第2编码图片需要视差补偿处理的情况下，在将包含在发生了错误的基础视野的第1编码图片的解码结果中的错误图像信息用修复图像信息置换后，使解码部120将从属视野的第2编码图片解码。

修复处理部143使用解码部120通过将第2运动图像信息解码而生成的解码图像信息，将由错误检测部130检测到的错误修复。具体而言，修复处理部143使用通过解码部120将第2编码图像信息解码而生成的第2解码图像信息，生成第1修复图像信息。然后，修复处理部143用第1修复图像信息置换第1编码图像信息的解码结果，从而修复错误。

例如，修复处理部143在基础视野的第1编码图片中发生了错误的情况下，使用从属视野的第2编码图片的解码结果生成第1修复图像信息。例如，修复处理部143通过取得作为第2编码图片的解码结果的第2解码图像信息，生成第1修复图像信息。并且，修复处理部143将包含在第1编码图片的解码结果中的错误图像信息用所生成的第1修复图像信息置换。

此外，修复处理部143在由判定部141判定为第2编码图像信息不是帧内图像、或者需要视差补偿处理的情况下，用作为在发生了错误的第1编码图像信息之前由解码部120解码第1运动图像信息而生成的解码图像信息的第2修复图像信息，将第1编码图像信息的解码结果置换。

具体而言，修复处理部143在预定在发生了错误的第1编码图片的下一个解码的第2编码图片参照第1编码图片的情况下，通过取得在基础视野的第1编码图像信息之前已解码的解码图像信息，生成第2修复图像信息。即，修复处理部143使用与发生了错误的通道相同通道且与发生了错误的编码图像信息相同时刻或不同时刻的编码图像信息，生成第2修复图像信息。

进而，由于发生了错误，所以在将第1编码图像信息的解码结果用第2修复图像信息置换后，修复处理部143用解码部120解码第2编码图像信息而生成的第3修复图像信息，来置换第2修复图像信息。具体而言，在由判定部141判定为在生成第3修复图像信息时未参照第2修复图像信息的情况下，修复处理部143将第2修复图像信息用第3修复图像信息置换。

第2编码图像信息是其解码结果在与第1编码图像信息相同的时刻显示的图像信息，所以与第1编码图像信息的相关较高。因而，在第1编码图像信息中发生了错误的情况下，优选的是使用第2编码图像信息的解码结果置换第1编码图像信息。

如上述那样，修复处理部143用第2修复图像信息置换第1编码图像信息后，用更优选的第3修复图像信息置换，所以能够充分地抑制解码图像的紊乱。

以上，对有关实施方式1的多视点运动图像解码装置100的结构进行了说明，但也可以是例如适当追加了环路滤波处理等处理的结构。

此外，在仅输入运动图像流的情况下、或者在不需要运动图像信息的分离的情况下等，多视点运动图像解码装置100也可以不具备多路分离部110。

此外，对多视点运动图像解码装置100具备1个解码处理部121的结构进行了说明，但也可以按每个通道具备解码处理部、矢量计算部及补偿处理部。

此外，多视点运动图像解码装置100也可以不具备矢量计算部122，而代之具备进行在运动补偿处理中使用的运动矢量的计算的运动矢量计算部、以及进行在视差补偿处理中使用的视差矢量的计算的视差矢量计算部。同样，多视点运动图像解码装置100也可以不具备补偿处理部123，而代之具备进行运动补偿处理的运动补偿部、以及进行视差补偿处理的视差补偿部。

此外，多视点运动图像解码装置100从记录介质200读出运动图像流，但例如也可以经由网络或广播波等取得运动图像流。

图3是表示由两个通道的运动图像信息构成的运动图像流的一例的图。如图3所示，Lch的运动图像信息是基础视野，Rch的运动图像信息是从属视野。即，在将Rch的运动图像信息解码时参照Lch的运动图像信息。

解码部120在将运动图像流解码时，如图3所示，将Lch的编码图像信息和Rch的编码图像信息以图片单位交替地解码。另外，图3所示的平行四辺形表示图片，在该图片内记载的号码表示解码顺序。

在运动补偿时，参照同一通道内的已解码的图像信息。例如，如图3所示，在将基础视野的图片3解码时，参照图片1。

在视差补偿时，参照不同的通道的已解码的图像信息。例如，如图3所示，在将从属视野的图片6解码时参照图片5。

另外，图片1和图片2、图片3和图片4等是预定在相同时刻显示的图片(同时刻的图片)。即，作为左眼用图像的图片1与作为右眼用图像的图片2成对，构成视听者能够立体地感知的三维图像。多视点运动图像解码装置100如图3所示，在将成对的图片中的基础视野的图片解码后，将从属视野的图片解码。

接着，对有关实施方式1的多视点运动图像解码装置100的动作进行说明。特别对发生了错误的情况的动作进行说明。另外，在没有发生错误的情况下，多视点运动图像解码装置100按照H.264/MVC标准进行解码，所以省略说明。

图4是表示有关实施方式1的多视点运动图像解码装置100的动作中的、发生了错误的情况下的动作的一例的流程图。

在错误检测部130在基础视野的运动图像信息中检测到错误的情况下，错误图像修复部140基于来自错误检测部130的错误通知，将解码中的基础视野的编码图片的解码中断(S101)。例如，在图3所示的图片5中发生了错误的情况下，错误图像修复部140将图片5的解码中断。

判定部141判定预定在中断的编码图片的下一个解码的、从属视野的编码图片是否需要视差补偿处理(S102)。例如，在图3所示的图片5中发生了错误的情况下，判定部141判定图片6是否是帧内图片、或者图片6是否需要视差补偿处理。另外，在从属视野的编码图片是帧内图片的情况下，不参照其他图片而解码该编码图片，所以不需要视差补偿处理。

在从属视野的编码图片不需要视差补偿处理的情况下(S102中否)，解码部120基于解码控制部142的控制，进行从属视野的解码(S103)。

例如，如图5A所示，在图片3中发生了错误的情况下，预定下一个解码的图片4不需要视差补偿处理。因此，解码控制部142控制解码部120，以使其将图片4解码。图片4由于不参照发生了错误的图片3，所以解码部120能够不受错误的影响而正确地将图片4解码。

如果从属视野的编码图片的解码结束，则解码控制部142使基础视野的编码图片的解码再次开始(S104)。例如，解码控制部142在从解码部120接受到表示从属视野的编码图片的解码结束的完成通知的情况下，使基础视野的编码图片的解码再次开始。

此时，解码部120既可以从发生了错误的编码图片的最初进行解码，或者也可以从中断的部位进行解码。例如，如果图5A所示的图片4的解码结束，则解码控制部142使发生了错误的图片3的解码再次开始。

修复处理部143通过取得从属视野的编码图片的解码结果，生成第1修复图像信息(S105)。具体而言，通过使用在与发生了错误的基础视野的编码图像信息相同的时刻显示的从属视野的编码图像信息进行视差补偿处理等，从而生成第1修复图像信息。例如，在图5A所示的图片3中发生了错误的情况下，修复处理部143通过取得与图片3同时刻的图片4的解码结果，从而生成第1修复图像信息。

然后，修复处理部143代替基础视野的编码图像信息的解码结果而将第1修复图像信息保存到解码图像信息保存缓冲器125中(S106)。即，修复处理部143将基础视野的编码图像信息的解码结果用第1修复图像信息置换。另外，此时，修复处理部143只要仅将基础视野的编码图片中的、发生了错误的图像置换就可以。即，修复处理部143也可以按比帧小的处理单位用规定的修复图像信息置换发生了错误的图像信息。即，修复处理部143不需要将1帧或1图片量的图像信息全部置换，只要将发生了错误的1个片或1个宏块量的数据置换就可以。

在错误的修复结束后、发生了错误的编码图片的解码完成的情况下，开始基础视野的下个编码图片的解码(S112)。在图5A所示的例子中，在图片3中发生的错误的修复、以及图片3的解码结束的情况下，解码部120开始图片5的解码。

在从属视野的编码图片需要视差补偿处理的情况下(S102中是)，解码部120基于解码控制部142的控制，再次开始基础视野的解码(S107)。例如，如图5B所示，假设在图片5中发生了错误的情况下，预定下一个解码的图片6需要视差补偿处理。即，为了将图片6解码而必须得到图片5的解码结果。

因而，修复处理部143使用基础视野的已解码的解码结果生成第2修复图像信息(S108)。例如，修复处理部143通过取得与发生了错误的编码图片在时间上最接近的图片的解码图像信息、或同一图片内的不同区域的解码图像信息，生成第2修复图像信息。在图5B所示的例子中，在图片5中发生了错误的情况下，修复处理部143通过取得图片3的解码结果，生成第2修复图像信息。

然后，修复处理部143代替基础视野的发生了错误的编码图像信息的解码结果而将生成的第2修复图像信息保存到解码图像信息保存缓冲器125中(S109)。例如，在图5B所示的例子中，修复处理部143代替图片5的解码结果而取得图片3的解码结果，并将所取得的解码结果作为第2修复图像信息保存到解码图像信息保存缓冲器125中。

接着，解码部120将预定在发生了错误的编码图片的下一个解码的从属视野的编码图片解码(S110)。具体而言，如图5B所示，解码部120基于解码控制部142的控制进行图片6的解码(S110)。此时，解码部120一边参照图片5的解码结果(包括第2修复图像信息)，一边进行视差补偿处理，将图片6解码。

判定部141在解码部120将从属视野的编码图片解码时，具体而言在视差补偿处理时，判定是否参照了发生错误的部位(S111)。在图5B所示的例子中，判定部141判定在将图片6解码时是否参照了图片5的错误部位、即是否参照了置换的第2修复图像信息。这是因为，即使修复了错误，也不一定用第2修复图像信息置换了图片5的全部，也有在图片6的解码时没有参照错误部位的情况。

在没有参照错误部位的情况下(S111中否)，修复处理部143通过取得从属视野的编码图片的解码结果，生成第3修复图像信息(S105)，保存到解码图像信息保存缓冲器125中(S106)。即，在图5B所示的例子中，通过取得图片6的解码结果，从而用所取得的图片6的解码结果(第3修复图像信息)置换作为图片5的解码结果置换的第2修复图像信息。

图片6由于是与图片5同时刻的图片，所以与图片3相比相关较高的情况较多。因而，与从图片3取得的第2修复图像信息相比，从图片6取得的第3修复图像信息更适于置换图片5的解码结果。由于在图片6的解码结果中没有包含错误的影响(由于在S111中是否)，所以可以将图片5的解码结果(第2修复图像信息)用图片6的解码结果(第3修复图像信息)置换。

另外，在参照了错误部位的情况下(S111中是)，开始基础视野的下个编码图片的解码(S112)。

此外，在从属视野的运动图像信息发生错误的情况下，由于成对的基础视野的图片已经解码，所以修复处理部143使用成对的基础视野的图片的解码结果进行修复。例如，在图3所示的图片2中发生了错误的情况下，修复处理部143将图片1的解码结果作为修复图像信息保存到解码图像信息保存缓冲器126中。

如以上这样，有关实施方式1的多视点运动图像解码装置100在解码第2运动图像信息时参照的第1运动图像信息中发生了错误的情况下，先进行第2运动图像信息的解码，使用该解码的结果修复在第1运动图像信息中发生的错误。具体而言，多视点运动图像解码装置100在基础视野的第1编码图片中发生了错误的情况下，先进行从属视野的第2编码图片的解码。第2编码图片是与第1编码图片相同时刻的编码图片，与基础视野的其他编码图片相比，与第1编码图片的相关更高。

因而，通过使用第2编码图片的解码结果修复在第1编码图片中发生的错误，能够进行比以往精度更高的错误修复处理，能够充分地抑制解码图像的紊乱。

(实施方式2)

有关实施方式2的多视点运动图像解码装置的特征在于，在被从其他运动图像信息参照的运动图像信息中发生了错误的情况下，将其他运动图像信息解码并对解码结果进行运动补偿处理，从而生成修复图像信息，用所生成的修复图像信息置换错误图像信息。

另外，有关实施方式2的多视点运动图像解码装置的结构与图1所示的有关实施方式1的多视点运动图像解码装置100的结构是相同的，所以省略说明。

以下，对有关实施方式2的多视点运动图像解码装置的动作进行说明。

图6是表示有关实施方式2的多视点运动图像解码装置的动作中的、发生了错误的情况下的动作的一例的流程图。另外，对于与图4所示的有关实施方式1的多视点运动图像解码装置100的动作相同的动作赋予相同的标号，以下省略说明。

在由判定部141判定为预定在发生了错误的基础视野的编码图片的下一个解码的从属视野的编码图片不需要视差补偿处理的情况下(S102中否)，解码部120基于解码控制部142的控制，将从属视野的编码图片解码(S103)。并且，解码控制部142使发生了错误的基础视野的编码图片的解码再次开始(S104)。

修复处理部143通过取得从属视野的编码图片的解码结果，并对所取得的解码结果进行运动补偿处理，从而生成第4修复图像信息(S205)。以后的处理与实施方式1是同样的。

另一方面，在由判定部141判定为预定在发生了错误的基础视野的编码图片的下一个解码的从属视野的编码图片需要视差补偿处理的情况下(S102中是)，解码部120基于解码控制部142的控制，再次开始基础视野的解码(S107)。

并且，修复处理部143取得基础视野的已解码的解码结果，并对所取得的解码结果进行运动补偿处理，由此生成第2修复图像信息(S208)。以后的处理与实施方式1是同样的。

如以上所示，在实施方式1中，将从属视野或基础视野的解码结果原样作为修复图像信息使用，相对于此，在实施方式2中，将从属视野或基础视野的解码结果作为运动补偿用的图像信息使用。

以上，有关实施方式2的多视点运动图像解码装置在解码第2运动图像信息时参照的第1运动图像信息中发生了错误的情况下，通过先进行第2运动图像信息的解码，并对该解码的结果进行运动补偿处理，由此生成修复图像信息，用所生成的修复图像信息置换错误图像。具体而言，多视点运动图像解码装置在基础视野的第1编码图片中发生了错误的情况下，先进行从属视野的第2编码图片的解码。第2编码图片是与第1编码图片相同的时刻的编码图片，与基础视野的其他编码图片相比，与第1编码图片的相关更高。

因而，通过对第2编码图片的解码结果进行运动补偿处理而生成修复图像信息，并用所生成的修复图像信息置换错误图像，由此能够进行比以往精度更高的错误修复处理，能够充分地抑制解码图像的紊乱。

另外，修复处理部143在生成修复图像信息时，也可以对从属视野的解码结果不仅进行运动补偿，而且还进行视差补偿处理。此外，这些运动补偿处理及视差补偿处理既可以由错误图像修复部140内的修复处理部143进行，或者也可以由解码部120具备的补偿处理部123进行。

以上，基于实施方式对有关本发明的多视点运动图像解码装置及多视点运动图像解码方法进行了说明，但本发明并不限定于这些实施方式。只要不脱离本发明的主旨，对该实施方式实施了本领域的技术人员想到的各种变形后的形态、或将不同的实施方式的构成单元组合而构建的形态也包含在本发明的范围内。

例如，在上述说明中，举例说明了基础视野和从属视野这两个运动图像信息，但有关本发明的多视点运动图像解码装置也可以将3个以上的运动图像信息解码。例如，设想在将包括1个基础视野的运动图像信息和两个从属视野的运动图像信息的运动图像流解码时，在基础视野的运动图像信息中发生了错误的情况。在此情况下，多视点运动图像解码装置只要使用两个从属视野的某个生成修复图像信息，并将错误图像信息用修复图像信息置换，从而修复错误就可以。

此外，在从属视野中发生了错误的情况下也同样，错误图像修复部140也可以利用基础视野或从属视野的解码结果修复错误图像信息。例如，在图3所示的图片6中发生了错误的情况下，错误图像修复部140只要利用图片5的解码结果作为修复图像信息就可以。

或者，错误图像修复部140也可以控制解码部120以使其将预定在图片6的下一个解码的图片7解码，并利用图片7的解码结果作为修复图像信息。这样，在从属视野的编码图像信息中发生了错误的情况下，也可以将预定在发生了错误的编码图像信息的下一个解码的包含在基础视野中的编码图像信息解码，并利用该解码结果修复错误。

由此，例如在与图片6同时刻的图片即图片5中也发生了错误的情况下等、不优选了利用图片5的解码结果作为修复图像信息的情况下，也能够将在图片6中发生的错误修复。

此外，在实施方式1中，修复处理部143也可以通过对所取得的第2解码图像信息进行视差补偿处理来生成第1修复图像信息。

另外，有关本发明的多视点运动图像解码装置例如搭载在图7所示的数字电视机300、或数字视频记录器/播放器310中。

另外，本发明不仅能够如上述那样作为多视点运动图像解码装置及多视点运动图像解码方法实现，也可以作为用来使计算机执行本实施方式的多视点运动图像解码方法的程序实现。此外，也可以作为记录该程序的计算机可读取的CD-ROM等记录介质实现。还可以作为表示该程序的信息、数据或信号实现。并且，这些程序、信息、数据及信号也可以经由因特网等通信网络分发。

此外，本发明也可以将构成多视点运动图像解码装置的构成要素的一部分或全部由1个系统LSI构成。系统LSI是将多个构成部集成在1个芯片上而制造的超多功能LSI，具体而言是包括微处理器、ROM及RAM等而构成的计算机系统。

工业实用性

有关本发明的多视点运动图像解码装置及多视点运动图像解码方法具有在发生了错误的情况下也能够充分抑制解码图像的紊乱的效果，例如能够在数字电视机、DVD及BD记录机/播放器等数字设备中使用。

标号说明

100 多视点运动图像解码装置

110 多路分离部

120 解码部

121 解码处理部

122 矢量计算部

123 补偿处理部

124 解码图像信息构成部

125、126 解码图像信息保存缓冲器

130 错误检测部

140 错误图像修复部

141 判定部

142 解码控制部

143 修复处理部

200 记录介质

210 显示部

300 数字电视机

310 数字视频记录器/播放器

Claims (11)

1.一种多视点运动图像解码装置，解码运动图像流，该运动图像流包含被编码的第1视点的第1运动图像信息以及与上述第1视点不同的第2视点的被编码的第2运动图像信息，该多视点运动图像解码装置具备：

解码部，解码上述运动图像流；

错误检测部，从上述运动图像流中检测错误；以及

错误修复部，修复由上述错误检测部检测到的错误；

上述错误修复部具备：

解码控制部，在由上述错误检测部在上述第1运动图像信息所包含的第1编码图像信息中检测到错误的情况下，控制上述解码部以解码上述第2运动图像信息所包含的第2编码图像信息，该第2编码图像信息预定比上述第1编码图像信息后解码；以及

修复处理部，使用上述解码部通过解码上述第2编码图像信息而生成的解码图像信息，修复由上述错误检测部检测到的错误。

2.如权利要求1所述的多视点运动图像解码装置，其中，

上述第2运动图像信息通过参照上述第1运动图像信息被编码；

上述错误修复部还具备判定部，在上述第1编码图像信息中检测到错误的情况下，该判定部判定上述第2编码图像信息是否为帧内图像、或者是否需要视差补偿处理；

在由上述判定部判定为上述第2编码图像信息是帧内图像、或者不需要视差补偿处理的情况下，上述解码控制部控制上述解码部，以使上述解码部解码上述第2编码图像信息。

3.如权利要求2所述的多视点运动图像解码装置，其中，

上述修复处理部用第1修复图像信息置换上述第1编码图像信息的解码结果，该第1修复图像信息是由上述解码部解码上述第2编码图像信息而生成的解码图像信息。

4.如权利要求3所述的多视点运动图像解码装置，其中，

上述第2编码图像信息是在与上述第1编码图像信息相同的时刻显示的图像信息。

5.如权利要求3或4所述的多视点运动图像解码装置，其中，

在由上述判定部判定为上述第2编码图像信息不是帧内图像、或者需要视差补偿处理的情况下，上述修复处理部用第2修复图像信息置换上述第1编码图像信息的解码结果，该第2修复图像信息是在上述第1编码图像信息之前，由上述解码部解码上述第1运动图像信息而生成的解码图像信息。

6.如权利要求5所述的多视点运动图像解码装置，其中，

在由上述判定部判定为上述第2编码图像信息不是帧内图像、或者需要视差补偿处理的情况下，上述解码控制部控制上述解码部，以使在由上述修复处理部修复错误后，上述解码部解码上述第2编码图像信息；

上述解码部基于上述解码控制部的控制来解码上述第2编码图像信息，由此生成作为解码图像信息的第3修复图像信息；

上述判定部还判定上述解码部在生成上述第3修复图像信息时是否参照了上述第2修复图像信息；

在由上述判定部判定为没有参照上述第2修复图像信息的情况下，上述修复处理部用上述第3修复图像信息置换上述第2修复图像信息。

7.如权利要求2所述的多视点运动图像解码装置，其中，

上述修复处理部使用由上述解码部解码上述第2编码图像信息而生成的解码图像信息来进行运动补偿处理，由此生成第4修复图像信息，用上述第4修复图像信息置换上述第1编码图像信息的解码结果。

8.如权利要求1～7中任一项所述的多视点运动图像解码装置，其中，

上述错误修复部以比帧小的处理单位，用规定的图像信息置换发生了错误的图像信息，由此修复由上述错误检测部检测到的错误。

9.一种多视点运动图像解码方法，解码运动图像流，该运动图像流包含被编码的第1视点的第1运动图像信息以及与上述第1视点不同的第2视点的被编码的第2运动图像信息，该多视点运动图像解码方法包括：

解码步骤，解码上述运动图像流；

错误检测步骤，从上述运动图像流中检测错误；以及

错误修复步骤，修复上述错误检测步骤中检测到的错误；

在上述解码步骤中，

在上述错误检测步骤在上述第1运动图像信息所包含的第1编码图像信息中检测到错误的情况下，解码上述第2运动图像信息所包含的第2编码图像信息，该第2编码图像信息预定比上述第1编码图像信息后解码；

在上述错误修复步骤中，

使用通过解码上述第2编码图像信息而生成的解码图像信息，修复上述错误检测步骤中检测到的错误。

10.一种程序，用于使计算机执行多视点运动图像解码方法，该多视点运动图像解码方法解码运动图像流，该运动图像流包含被编码的第1视点的第1运动图像信息以及与上述第1视点不同的第2视点的被编码的第2运动图像信息，

上述多视点运动图像解码方法包括：

解码步骤，解码上述运动图像流；

错误检测步骤，从上述运动图像流中检测错误；以及

错误修复步骤，修复上述错误检测步骤中检测到的错误；

在上述解码步骤中，

在上述错误检测步骤在上述第1运动图像信息所包含的第1编码图像信息中检测到错误的情况下，解码上述第2运动图像信息所包含的第2编码图像信息，该第2编码图像信息预定比上述第1编码图像信息后解码；

在上述错误修复步骤中，

使用通过解码上述第2编码图像信息而生成的解码图像信息，修复上述错误检测步骤中检测到的错误。

11.一种集成电路，解码运动图像流，该运动图像流包含被编码的第1视点的第1运动图像信息以及与上述第1视点不同的第2视点的被编码的第2运动图像信息，该集成电路具备：

解码部，解码上述运动图像流；

错误检测部，从上述运动图像流中检测错误；以及

错误修复部，修复由上述错误检测部检测到的错误；

上述错误修复部具备：

解码控制部，在由上述错误检测部在上述第1运动图像信息所包含的第1编码图像信息中检测到错误的情况下，控制上述解码部以解码上述第2运动图像信息所包含的第2编码图像信息，该第2编码图像信息预定比上述第1编码图像信息后解码；以及

修复处理部，使用上述解码部通过解码上述第2编码图像信息而生成的解码图像信息，修复由上述错误检测部检测到的错误。

Images