CN101822053A - 将自然视频卡通化的编码方法及设备、包括卡通化的自然视频的相应视频信号及其解码方法和设备 - Google Patents

Abstract

本发明涉及一种允许提供卡通化视频的编码方法和设备。本发明还涉及相应的解码方法和设备。本发明同时也涉及相应的视频信号。一种允许提供源视频的卡通版、且允许将从所述源视频卡通版中获得的源视频和一个残差视频重新合成的编码方法包括以下步骤：将所述源视频卡通化，对第一视频进行编码，重构所述第一视频，确定一个第二视频和所述重构的第一视频之间的一个第一残差视频，将所述第一残差视频编码，并且将编码的第一视频和编码的第一残差视频合成，其中所述第一视频和所述第二视频之一是所述源视频而另一个则是卡通化的源视频。

Description

将自然视频卡通化的编码方法及设备、包括卡通化的自然视频的相应视频信号及其解码方法和设备

技术领域

本发明涉及允许提供卡通化视频的编码方法和设备。本发明还涉及相应的解码方法和设备。本发明同时也涉及相应的视频信号。

背景技术

近年来，视频卡通化吸引了越来越多的关注。源视频，又称自然视频或写实视频，对其进行统一、边缘处理、边缘重叠和/或量化操作以产生卡通化效果。

卡通化又被称为非真实渲染。卡通化方法使低对比度区域变得柔和。与此同时，该方法使高对比度区域得以强化。

在对基本连续的区域统一颜色时，卡通化方法保持或强化源图像的边缘和边线，从而产生卡通化效果。卡通形象可能会有明显的阴影、些许亮点以及重叠的物体轮廓线。

专利号为EP07301342的欧洲专利申请中或由H.Winnemoller、S.C.0lsen和B.Gooch在2006年ACM SIGGRAPH大会上发表的《实时视频抽象化》一文中对卡通化/非真实渲染技术进行了具体描述。本申请中所描述的卡通化技术是指以上文献中所述技术的至少一种。

卡通化的电影十分逼真，受到大多数观众的喜爱，尤其是儿童的青睐。除了在电影中的应用，卡通化的视频也适用于视频通讯，比如网络电视(Internet protocol television，IPTV)、移动电视(mobiletelevision，mobile TV)和视频会议。

专门的卡通化视频会使上述应用的效果更加吸引人。此外，卡通化效果是通过移除一些细节信息实现的，所以说，卡通化的视频很有可能比相应的源视频需要更少的带宽。

但是，所移除的细节信息对于某些观众而言可能是十分重要的。观众在观看卡通化的视频时也可能还需要参照源视频获得一些具体信息。

因此，需要同时提供卡通化的视频和相应的源视频。

发明内容

本发明是由方法、设备和视频信号对应的权利要求构成的。

一种允许提供源视频的卡通版、且允许将从所述源视频卡通版中获得的源视频和一个残差视频重新合成的编码方法包括以下步骤：

将所述源视频卡通化，对第一视频进行编码，重构所述第一视频，确定一个第二视频和所述重构的第一视频之间的一个第一残差视频，将所述第一残差视频编码，并且将编码的第一视频和编码的第一残差视频合成，其中所述第一视频和所述第二视频之一是所述源视频而另一个则是卡通化的源视频。即，要么所述第二视频为源视频而第一视频是卡通化的源视频，要么所述第一视频是源视频而所述第二视频是卡通化的源视频。

所述编码方法使得视频信号包括在基本层编码的所述第一视频，增强层包括所述编码的第一残差视频，其中，如果所述第一视频是源视频，那么通过将所述第一视频的重构视频和所述第一残差视频的重构视频合成，可重构源视频的卡通版，或者，如果所述第一视频是所述源视频的卡通版，那么通过将所述第一视频的重构视频和所述第一残差视频的重构视频合成，可重构所述源视频。

如果所述第一视频是源视频，通过解码方法可以从所述视频信号中提取写实视频。所述解码方法包括下列步骤：

将编码的第一残差视频和编码的卡通化视频分离，重构所述卡通化视频，重构第一残差视频，通过将卡通化的视频和第一残差视频合成以形成写实视频。

如果第一视频是源视频的卡通版，通过执行下列步骤可以从所述视频信号中提取高质量的卡通片：

将编码的第一残差视频和编码的写实视频分离，重构写实视频，重构第一残差视频，通过将写实视频和第一残差视频合成以形成卡通片。

所述方法和设备的进一步实施方式包括一个或多个从属权利要求的特征。

附图说明

附图中示出了本发明的具体实施方式，并在下文中进行了具体说明。附图中：

图1示出了现有技术中的卡通化方法的流程表；

图2a、2b、2c和2d示出了第一种创新的编码设备的具体实施方式；

图3a、3b、3c和3d示出了第一种创新的解码设备的具体实施方式；

图4a、4b、4c和4d示出了第二种创新的编码设备的具体实施方式；

图5a、5b、5c和5d示出了第二种创新的解码设备的具体实施方式；

图6a和6b示出了第三种创新的编码设备的具体实施方式；以及

图7a和7b示出了第三种创新的解码设备的具体实施方式。

具体实施方式

将自然视频或写实视频卡通化的时候，通常执行附图1中描述的步骤。即，在步骤SAL中从自然视频SRC中生成显著地图。然后，在步骤EDG中检测边缘。边缘要经过膨胀和/或侵蚀ED等形态学处理。经过此步骤得到的视频在经量化QNT(quantization)产生卡通化视频TOON之前进行双向滤波BiF(bilaterally filtered)和后处理PP(post processed)。专利号为EP07301342的欧洲专利申请中已经提供了关于应用于创新性编码方法和设备以及创新性解码方法和设备的卡通化步骤的具体描述。

图2a和2b示出了用于同时对自然视频和该自然视频的卡通版进行编码的第一种编码器的两个具体实施方式。

自然视频SRC被提供给卡通化器CART(cartoonizer)。所产生的卡通片传递给编码装置ECN(encoding means)。编码装置ECN把编码的卡通片传给重构器RBL(reconstructor)。重构的卡通片与源视频SRC比较，而产生的残差由残差编码装置EN1进行编码。残差编码装置EN1可包含在编码装置ENC中。然后，编码残差与编码卡通片合成以形成一个输出视频信号SVC。

在图2b中，输出视频信号SVC包括一个编码额外残差。编码额外残差是通过将卡通化器CART修改的自然视频SRC与重构器RBL输出的重构卡通片相比较而获得的结果。所述两个视频的差异由另一个残差编码器EN2编码，作为编码额外残差。同样，另一个残差编码装置EN2可包含在编码装置ENC中。

图2c描述了用于同时编码自然视频和该自然视频的卡通版的第一种编码器的第三种具体实施方式。在第三种具体实施方式中，卡通化器CART修改的自然视频SRC和中间重构视频之间的差异被编码作为编码的额外残差视频。该中间重构视频是通过将重构卡通片与编码残差的重构视频合成(如：通过逐个像素的加权添加)来产生的。编码残差的重构视频是通过残差重构装置RE1形成的，该残差重构装置可由重构器RBL实现。

图2d描述了用于同时编码自然视频和该自然视频的卡通版的第一种编码器的第四种具体实施方式。尽管残差和额外残差在内容上有差别，第四种具体实施方式仍然相当于图2c中描述的具体实施方式。图2d中，通过比较卡通化的源视频以及重构的卡通片得到残差。并且，自然视频SRC和中间重构视频之间的差异被编码作为编码的额外残差视频，其中，中间重构视频是通过将重构卡通片和编码残差的重构视频合成而产生的。

编码源视频、编码残差以及编码的额外残差，三者中的任何一个若存在，都可以根据可扩展的视频编码方案合成到输出流SVC中。从而，编码卡通片可包含在基本层中，而第一增强层包括编码残差。如果存在编码的额外残差视频，那么其可包含在第二增强层中。

然后，可以用低码率对卡通片进行编码从而允许使用低带宽设备来解码基本层，以产生低质量的基本卡通片。与此同时，高带宽设备可以解码高质量卡通片和/或生成高质量卡通片的自然视频的高质量版本。这是通过对存在于第一和/或第二增强层的残差和/或额外残差进行解码而实现的。高带宽设备也可以允许用户在不同质量的卡通片之间和/或在自然视频和卡通片之间进行切换。

图3a、3b、3c和3d示出了适用于提取源视频和/或源视频的卡通片的第一种解码设备的具体实施方式。第一种解码器与图2a、2b、2c和2d的具体实施里中描述的第一种编码设备相对应。

所有第一种解码设备都包含一个分离器SEP(separator)，用于从接收到的视频信号SVC中把编码的基本卡通片相对于编码残差和额外的编码残差分离出来(如果存在)。此外，所有第一种解码器都包含用于重构编码的基本卡通片的装置RBL以及用于重构编码的残差的装置RE1。

图3a、3b和3c中，解码器可输出基本卡通片的重构视频TLO，或者通过将重构的基本卡通片TLO和编码残差的重构视频合成，输出自然视频SRC。

由于编码过程会引入失真和伪像，基本卡通片的重构视频TLO可能质量不高。因此，图3b和3c中的具体实施方式还包括用于重构编码的额外残差的装置RE2。

图3b中，基本卡通片TLO与从强化的卡通片TOON中得到的重构额外残差合成可提高基本卡通片的质量。

图3c中，强化卡通片TOON是通过把自然视频SRC和重构额外残差合成而产生的。

图3d中，解码器可输出基本卡通片的重构视频TLO，或者通过将重构的基本卡通片TLO与残差的重构视频合成，输出强化卡通片TOON。自然视频SRC可以通过将强化卡通片TOON与重构额外残差合成而产生。

用于重构基本卡通片的装置和用于重构残差的装置RE1可以通过相同的硬件实现。另外，图3b和3c中用于重构额外残差的装置RE2也可以通过相同的硬件实现。

图4a和4b示出了用于同时编码自然视频和该自然视频的卡通化版的第二种编码器的两种具体实施方式。

图4a和4b所描述的具体实施方式中，自然视频SRC供给产生卡通片的卡通化器CART。并且，自然视频被传送给编码装置ENC。编码装置ENC将编码的自然视频传给重构器REC。自然视频的重构视频与卡通片相比较。这样就会产生一个由残差编码装置EN1编码的残差。残差编码装置EN1可以通过编码装置ENC实现。接着，该编码的残差与编码的自然视频合成，产生输出视频信号SVC。

图4b中，输出视频信号SVC包含一个额外编码残差。额外编码残差是将自然视频SRC和重构的自然视频进行比较而得到的结果。两个视频之间的差异由另一个残差编码装置EN2编码，作为编码的额外残差。同样，另一个残差编码器EN2也可以通过编码装置ENC实现。

图4c描述了用于同时编码自然视频和该自然视频的卡通版的第二种编码器的第三种具体实施方式。在第三种具体实施方式中，自然视频SRC和一个中间重构视频之间的差异也是编码的额外残差。该中间重构视频是通过将重构的基本自然视频与编码残差的重构视频合成(如：通过逐个像素的加权添加)来产生的。编码残差的重构视频是通过残差重构装置RE1形成的，该残差重构装置可由重构器RBL实现。

图4d描述了用于同时编码自然视频和该自然视频的卡通版的第二种编码器的第四种具体实施方式。尽管残差和额外残差在内容上有差别，第四种具体实施方式仍然相当于图4c中描述的具体实施方式。图4d中，通过比较自然视频SRC以及重构的自然视频而得到残差。并且，卡通片和中间重构视频之间的差异被编码作为编码的额外残差视频，其中，中间重构视频是通过将重构自然视频和编码残差的重构视频合成而产生的。

另外，编码源视频、编码残差以及额外编码残差可以根据可扩展的视频编码方案合成到输出流SVC中。然后，编码自然视频可包含在基本层中，而第一增强层包括编码残差，第二增强层包括编码额外残差。

然后，可以用低码率对自然视频进行编码从而允许使用低带宽设备来解码基本层，以产生低质量的基本自然视频。与此同时，具有更强性能的高带宽设备可以解码高质量卡通片和/或生成高质量卡通片的自然视频的高质量版本。这是通过对存在于第一和/或第二增强层的残差和/或额外残差进行解码而实现的。具有更强性能的设备也可以允许用户在不同质量的自然视频之间和/或在自然视频和卡通片之间进行切换。

图5a、5b、5c和5d示出了适用于提取源视频和/或源视频的卡通片的第二种解码设备的具体实施方式。第二种解码器与图4a、4b、4c和4d的具体实施里中描述的第二种编码设备相对应。

所有第二种解码器都包括一个分离器SEP，用于从接收到的视频信号SVC中把编码的基本自然视频同编码残差和编码额外残差(如果存在)分离出来。此外，所有第二种解码器都包括用于重构编码基本自然视频的装置RBL以及用于重构编码残差的装置RE1。图5b、5c和5d中描述的具体实施方式还包括用于重构编码额外残差的装置RE2。

图5a、5b和5c中所示的解码器可输出基本自然视频的重构视频SLO，或者通过将重构的基本自然视频SLO与残差的重构视频合成，输出强化的卡通片TOON。

图5b中，通过把基本自然视频SLO与用于生成强化的自然视频SRC的重构额外残差合成，来可提高基本自然视频的质量。

在图5c中，强化的自然视频SRC是通过把强化卡通片TOON和重构额外残差合成而产生的。

图5d中，解码器可输出重构的基本自然视频SLO，或者通过将基本自然视频的重构视频SLO与残差的重构视频合成，输出强化自然视频SRC。强化卡通片TOON可以通过将强化自然视频SRC与重构的额外残差合成而产生。

用于重构基本自然视频的装置RBL和用于重构残差的装置RE1可以通过相同的硬件实现。另外，图5b和5c中用于重构额外残差的装置RE2也可以通过相同的硬件实现。

图6a和6b示出了用于同时编码自然视频和该自然视频的卡通版的第三种编码器的两种具体实施方式。

图6a和6b所描述的具体实施方式中，自然视频SRC供给产生卡通片的卡通器CART。并且，自然视频被传送给编码装置ENC。编码装置ENC将编码的自然视频传给重构器REC。重构器RBL的输出传给卡通化器CART中进行卡通化处理。自然视频的卡通化重构视频和卡通片相比较。这样就会产生一个由残差编码装置EN1编码的卡通片残差。残差编码装置EN1可以使用编码装置ENC实现。接着，该编码的卡通片残差与编码的自然视频合成，产生输出视频信号SVC。

图6b中，该输出视频信号SVC包含一个编码的自然视频残差。编码的自然视频残差是将自然视频SRC和重构的自然视频进行比较得到的结果。两个视频之间的差异被另一个残差编码装置EN2编码为编码自然视频残差。并且，另一个残差编码装置EN1可以通过编码装置ENC实现。

另外，编码自然视频、编码卡通片残差以及所述编码的自然视频残差，三者中任何一者如果存在，根据可扩展的视频编码方案可将其合成到输出流SVC中。然后，编码自然视频可包含在基本层中，而第一增强层包括编码的卡通片残差，第二增强层包括编码的自然视频残差(如果存在残差)。

然后，可以用低码率对自然视频进行编码从而只允许使用低带宽设备来解码基本层，以产生低质量的基本自然视频。与此同时，具有更强性能的高带宽设备可以解码高质量卡通片和/或生成高质量卡通片的自然视频的高质量版本。这是通过对存在于第一和/或第二增强层的编码的卡通片残差和/或编码的自然视频残差进行解码而实现的。具有更强性能的设备也可以允许用户在不同质量的自然视频之间和/或在自然视频和卡通片之间进行切换。

图7a和7b示出了适用于提取源视频和/或源视频的卡通片的第三种解码设备的具体实施方式。第三种解码器与图6a和6b的具体实施里中描述的第三种编码设备相对应。

两个第三种解码器都包括一个分离器SEP(separator)，用于从接收到的视频信号SVC中把编码的基本自然视频同编码的卡通片残差中和编码的自然视频残差(如果存在)分离出来。此外，两个第三种解码器都包括用于重构编码基本自然视频的装置RBL以及用于重构卡通片残差的装置RE1。并且，两个解码器都包括用于卡通化的装置CART，其将重构基本自然视频SLO卡通化。图7b中的具体实施方式还包括用于重构编码的自然视频残差的装置RE2。

图7a和7b中描述的解码器可输出基本自然视频的重构视频SLO，或者通过将重构的基本自然视频SLO卡通化并且将卡通化的重构基本自然视频SLO与卡通片残差合成，输出强化卡通片TOON。

图7b中，通过把基本自然视频SLO与从强化自然视频SRC中得到的重构自然视频残差合成，可提高基本自然视频SLO的质量。

用于重构基本自然视频的装置RBL和用于重构卡通残差的装置RE1可以通过相同的硬件实现。另外，图7b中用于重构自然视频残差的装置RE2也可以通过相同的硬件实现。

Claims (10)

1.一种用于编码一个源视频的方法，所述方法包括：

将所述源视频卡通化，

将一个第一视频编码，

重构所述第一视频，

确定一个第二视频与重构的第一视频之间的一个第一残差视频，

将所述第一残差视频编码，和

将编码的第一视频和编码的第一残差视频合成，其中

所述第一视频和所述第二视频之一是所述源视频，而另一个则是卡通化的源视频。

2.根据权利要求1所述的方法，所述方法还包括：

确定所述第一视频与所述重构的第一视频之间的一个第二残差视频，

将所述第二残差视频编码，和

将编码的第二残差视频和所述编码的第一视频以及所述编码的第一残差视频合成。

3.根据权利要求1所述的方法，所述方法还包括：

重构所述编码的第一残差，

通过将所述重构的第一残差添加到所述重构的第一视频中形成一个中间重构视频，

确定所述第一视频和所述中间重构视频之间的一个第二残差视频，

将所述第二残差视频编码，和

将编码的第二残差视频和所述编码的第一视频以及所述编码的第一残差视频合成。

4.一种用于提取一个第一视频的方法，所述方法包括：

将一个编码的第一残差视频和一个编码的第二视频分离，

重构所述第二视频，

重构所述第一残差视频，和

通过将所述第二视频和第一残差视频合成以形成所述第一视频，其中

所述第一视频和所述第二视频之一是源视频，而另一个则是卡通化的源视频。

5.根据权利要求4所述的方法，所述方法还包括：

分离出一个编码的第二残差视频，

重构所述第二残差视频，和

将所述第二残差视频和所述第二视频以及所述第一残差视频合成。

6.根据权利要求4或5所述的方法，所述方法还包括：

在与所述第一残差视频合成之前，将重构的第二视频卡通化。

7.一种编码设备，包括：

用于将一个源视频卡通化的装置(CART)，

用于将一个第一视频和一个残差视频编码的装置(ENC，ENC1，ENC2)，

用于重构编码的第一视频的装置(RBL)，

用于确定所述残差视频的装置，所述残差视频为一个第二视频和所述重构的第一视频之间的差异，和

用于将所述编码的第一视频和所述编码的残差视频合成的装置，其中

所述第一视频和所述第二视频之一是所述源视频，而另一个则是卡通化的源视频。

8.一种用于解码一个源视频的设备，所述设备包括：

用于将一个编码的残差视频和一个编码的基本视频分离的装置(SEP)，

用于重构所述编码的残差视频和所述编码的基本视频的装置(RBL，RE1)，

用于将重构的基本视频卡通化的装置，和

用于通过将所述重构的残差视频添加到所述卡通化的重构基本视频中以形成所述源视频的装置。

9.根据权力要求1-3所述的用于编码的方法，根据权力要求5所述的用于提取的方法，根据权力要求7所述的编码设备或者根据权力要求8所述的解码设备，其中卡通化包括统一低对比度区域、边缘处理、边缘重叠和/或量化。

10.一种视频信号(SVC)，包括：

被编码在基本层中的一个第一视频，

包括一个编码的残差视频的增强层，其中

通过将所述第一视频的重构视频和所述残差视频的重构视频合成，可重构一个第二视频，其中，

所述第一视频和所述第二视频之一是源视频，而另一个则是卡通化的源视频。

Images