CN101409844B - 视频信号处理方法和系统 - Google Patents

Abstract

本发明涉及一种对具有缺失的或无效前向参考图像的B图像进行处理的方法和系统。所述方法包括对紧跟序列头之后第一个I图像的一B图像相邻序列进行解码操作。所述对B图像的解码操作可对AVS1-P2格式的视频编辑代码和/或随机访问点进行处理。本发明的一些实施例涉及对参照无效或缺失前向参考图像的B图像进行弃除，同时，本发明的另一些实施则涉及对B图像进行插补。对于无效的前向参考图像，用于图像生成的插补算法会用到前向参考图像和后向参考图像。对于缺失的前向参考图像，比如，随机访问中，用于图像生成的插补算法会用到后向参考图像。

Description

视频信号处理方法和系统 

技术领域

本发明涉及视频数据处理，更具体地说，涉及一种对具有缺失或无效前向参照图的B图像进行处理的方法和系统。 

背景技术

现有的各种压缩方式，包括AVS1-P2，都会针对当前视频图像生成能够显示出当前视频图像与参照视频图像之间区别的数据。AVS1-P2是由中国音视频编码标准工作组建立的一种视频标准。该工作组由隶属于国家信息产业部的科学与技术司于2002年6月授权成立。该工作组的主要角色就是负责建立(或编辑)此类用于数字音视频数据的压缩、解码、处理以及表征的通用技术标准。该标准可用于高精度数字广播、高密度激光数字存储介质、无线宽带多媒体通讯以及因特网宽带流媒体。 

在AVS1-P2标准中存在有三种基本的图像格式：内(I)图像、预测(P)图像以及双向预测(B)图像。这种分类方式是早期标准中的I、P以及B图像概念在功能性上的延续。P图像编码是利用前向图像作为预测，而B像图的编码方式则是采用前向或后向或双向预测。 

与早期标准相似，AVS1-P2同样利用序列头作为诸如频道切换等特征的随机访问点(RAP)。在序列头之后，P图像只能参照位于该序列头之后的图像，而B图像却可以参照位于该序列头之前的图像。用于参照的视频图像可以是当前图像的前向视频图像和/或后向视频图像。然而，如果用于参照的前向图像遭到损坏，那么对当前图像的解码操作将无法进行。 

比较本发明后续将要结合附图介绍的系统，现有技术的其它局限性和弊端对于本领域的普通技术人员来说是显而易见的。

发明内容

本发明提供了一种对具有缺失或无效前向参考图像的B图像进行处理的方法和系统，结合至少一幅附图进行了充分的展现和描述，并在权利要求中得到了更完整的阐述。 

根据本发明的一个方面，本发明提供了一种视频信号处理方法，所述方法包括： 

在接收到压缩视频数据中的序列头之后，判断在所述压缩视频数据中的第一个I图像之后是否紧跟有连续相邻的B图像序列； 

根据所述判断对所述B图像相邻序列进行解码，其中，所述解码操作根据视频编辑代码和/或随机访问点进行B图像弃除或相应的插补处理，所述视频编辑代码用于表明紧跟I图像后的连续B图像可能具有无效或缺失的前向参考图像。 

优选地，所述方法进一步包括：将判断为紧跟所述第一个I图像之后的B图像相邻序列中的每个B图像弃除。 

优选地，所述方法进一步包括：当所述B图像相邻序列中的每个B图像所参照的前向参考图像是无效的或者缺失时，弃除所述B图像相邻序列中的每个B图像。 

优选地，所述方法进一步包括：当所述B图像相邻序列中的每个B图像所参照的前向参考图像是无效的或者缺失时，插补与所述B图像相邻序列中的每个B图像相对应的解码图像。 

优选地，当所述前向参考图像无效但可用时，所述插补操作使用如下算法进行： 

((m+1-n)/(m+1))*(经解码的前向参考图像)+(n/(m+1))*(经解码的后向参考图像)， 

其中，参数“m”是所述B图像相邻序列中B图像的数量，参数“n”是所述B图像的基于1的索引。 

优选地，当所述前向参考图像缺失时，所述插补操作使用如下算法进行： 

(n/(m+1))*(经解码的后向参考图像)， 

其中，参数“m”是所述B图像相邻序列中B图像的数量，参数“n”是所述B图像的基于1的索引。 

根据本发明的一个方面，本发明提供了一种视频信号处理方法，所述方法包括： 

在第一状态中检测到AVS1-P2格式的视频编辑代码或随机访问指示后，从第一状态转换到第二状态； 

在第二状态中检测I图像、P图像、B图像或视频编辑代码其中之一后，转换到出错状态； 

在第一状态中检测到AVS1-P2格式的视频编辑代码或随机访问指示后随即在第二状态下检测到序列头后，转换到第三状态； 

在第三状态中检测到P图像、B图像、视频编辑代码或序列头其中之一后，转换到出错状态； 

在第三状态中检测到I图像后，转换到第四状态； 

在第四状态中检测到I图像或P图像后，转换到第一状态； 

在第四状态中检测到对前向参考图像进行参照的B图像后，转换到第五状态； 

在第五状态中检测到I图像或P图像其中之一后，转切换到第一状态； 

在第五状态中检测到未参照前向参考图像的B图像后，转换到第四状态。 

优选地，所述方法进一步包括：弃除在所述第四以及第五状态中检测到的每个B图像。 

优选地，所述方法进一步包括：弃除在所述第五状态中检测到的参照前向参考图像的B图像。 

优选地，所述方法进一步包括：当所述前向参考图像无效或缺失时，插补与所述第四或第五状态中检测到的B图像相对应的解码图像。 

优选地，当所述前向参考图像无效但可用时，所述插补操作使用如下算法进行： 

((m+1-n)/(m+1))*(经解码的前向参考图像)+(n/(m+1))*(经解码的后向参考图像)， 

其中，参数“m”是所述B图像相邻序列中B图像的数量，参数“n”是所述B图像的基于1的索引。 

优选地，当所述前向参考图像缺失时，所述插补操作使用如下算法进行： 

(n/(m+1))*(经解码的后向参考图像)， 

其中，参数“m”是所述B图像相邻序列中B图像的数量，参数“n”是所述B图像的基于1的索引。 

根据本发明的一个方面，本发明提供了一种视频信号处理系统，所述系统包括： 

一个或多个电路，用于判断在压缩视频数据中的第一个I图像之后是否紧跟有连续相邻的B图像序列，并根据所述判断对所述B图像相邻序列进行解码，其中，所述解码操作根据视频编辑代码和/或随机访问点进行B图像弃除或相应的插补处理，所述视频编辑代码用于表明紧跟I图像后的连续B图像可能具有无效或缺失的前向参考图像。 

优选地，所述一个或多个电路将判断为紧跟所述第一个I图像之后的B图像相邻序列中的每个B图像弃除。 

优选地，所述一个或多个电路用于当所述B图像相邻序列中的每个B图像所参照的前向参考图像是无效的或者缺失时，弃除所述B图像相邻序列中的每个B图像。 

优选地，所述一个或多个电路用于当所述B图像相邻序列中的每个B图像所参照的前向参考图像是无效的或者缺失时，插补与所述B图像相邻序列中的每个B图像相对应的解码图像。 

优选地，所述一个或多个电路包括一个或多个用于实现解码图像的插补的处理器，其中，当所述前向参考图像无效但可用时，所述插补操作使用如下算法进行： 

((m+1-n)/(m+1))*(经解码的前向参考图像)+(n/(m+1))*(经解码的后向参考图像)， 

其中，参数“m”是所述B图像相邻序列中B图像的数量，参数“n”是所述B图像的基于1的索引。 

优选地，，所述一个或多个电路包括一个或多个用于实现解码图像的插补的处理器，其中，当所述前向参考图像缺失时，所述插补操作使用如下算法进行： 

(n/(m+1))*(经解码的后向参考图像)， 

其中，参数“m”是所述B图像相邻序列中B图像的数量，参数“n”是所述B图像的基于1的索引。 

根据本发明的一个方面，一种视频信号处理方法包括：生成一B图像相邻序列，使得当所述B图像相邻序列中生成的某个B图像指示为没有参照前向参考图像时，所述B图像相邻序列中的在所述B图像之后的其他B图像也指示为没有参照所述前向参考图像，其中，所述B图像相邻序列是紧随序列头之后的第一个I图像后生成的。 

根据本发明的一个方面，一种视频信号处理系统包括：一个或多个电路，用于生成一B图像相邻序列，使得当所述B图像相邻序列中生成的某个B图像指示为没有参照前向参考图像时，所述B图像相邻序列中的在所述B图像之后的其他B图像也指示为没有参照所述前向参考图像，其中，所述B图像相邻序列是紧随序列头之后的第一个I图像后生成的。 

本发明的各种优点、各个方面和创新特征，以及其中所示例的实施例的细节，将在以下的描述和附图中进行详细介绍。 

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中： 

图1是本发明一实施例中移动终端的部分结构框图； 

图2a是结合本发明一实施例使用的视频图像随机访问的示意图； 

图2b是本发明一实施例中编辑视频图像的效果示意图； 

图3是本发明一实施例中对具有无效或缺失前向参考图像的B图像进行解码的流程图； 

图4是本发明一实施例中对具有无效或缺失前向参考图像的B图像进行显示的一种方法的流程图； 

图5a是本发明一实施例中对具有无效或缺失前向参考图像的B图像进行显示的另一种方法的流程图； 

图5b是本发明一实施例中对具有无效或缺失前向参考图像的B图像进行显示的一种方法的编码流程图； 

图6是本发明一实施例中对具有无效或缺失前向参考图像的B图像进行显示的另一种方法的流程图。 

具体实施方式

本发明的一些实施例涉及对具有无效或缺失前向参考图像(forward reference picture)的B图像进行处理的方法和系统。本发明包括对相邻序列的B图像进行解码，其中，所述B图像紧跟序列头之后的第一个I图像出现。对所述B图像进行的解码可处理视频编辑代码，例如，针对AVS1-P2格式的视频数据，和/或随机访问点。视频编辑代码可包括，例如，与紧随B图像之后是否具有无效的前向参考图像有关的信息。随机访问点上的视频解码操作可从例如序列头开始，此处前向参考图像尚未解码。相应地，该前向参考图像也有可能缺失。 

本发明的一些实施例可实现对跟随序列头的第一个I图像之后的相邻B图像序列中的每个B图像的弃除。其他实施例可实现对所述相邻B图像序列中的每个B图像的前向参考图像是否缺失或无效进行判断。因此，若该B图像表明其参照了无效或缺失的前向参考图像，则该B图像被弃除。本发明的其他实施例可实现根据前向参考图像和后向参考图像(backward reference picture)对B图像进行插补。 

对于无效的前向参考图像，用于对相邻序列中的两个B图像中的第一个B图像进行插补的解码图像描述如下：(2/3)*(经解码的前向参考图像)+(1/3)*(经解码的后向参考图像)。相似地，对于无效的前向参考图像，用于对相邻序列B图像中的第二个B图像进行插补的解码图像描述如下：(1/3)*(经解码的前向参考图像)+(2/3)*(经解码的后向参考图像)。如果经解码的前向参考图像缺失，例如，发生随机访问时，第一个B图像被插补为：(1/3)*(经解码的后向参考图 像)，第二个B图像被插补为：(2/3)*(经解码的后向参考图像)。 

经归纳可以得到对每个参照无效前向参考图像的B图像的插补为：((m+1-n)/(m+1))*(经解码的前向参考图像)+(n/(m+1))*(经解码的后向参考图像)，对每个参照缺失的前向参考图像的B图像的插补为：(n/(m+1))*(经解码的后向参照图)。其中，参数“m”表示B图像相邻序列中的B图像的个数，参数“n”表示B图像在该序列中的位置。例如，对于第一个B图像来说，n＝1，第二个B图像的n＝2，依次类推。 

图1是本发明一实施例中移动终端的部分结构框图。图中示出移动终端100。如图1所示，移动终端100包括图像传感器110、图像处理器112、处理器114以及存储器116。其中图像传感器110可包括适当的用于捕获各种颜色光强度的电路和/或逻辑器件，比如，红色、绿色和蓝色。所述接收到的光强等级将被处理成视频和/或静态图像输出。例如，这些颜色等级将被转换到YUV色彩空间，产生的图像信息将会被传送到例如图像处理器112进行进一步处理。 

图像处理器112可包括能够进行视频信息处理的适当的电路和/或逻辑器件。图像处理器112还包括视频编码器112a以及视频解码器112b。其中，视频编码器112a可包括能够进行视频数据压缩的适当的逻辑器件、电路和/或代码。视频解码器112b可包括能够将视频数据进行解压显示的适当的逻辑器件、电路和/或代码。处理器114将会决定整个移动终端100各部分的运行模式。例如，处理器114可在图像处理器112内设立数据寄存器用来实现将视频数据通过直接存储器存取转移到存储器116处。处理器还可通过传送指令给图像传感器110来启动图像捕捉。存储器116用于存储经图像处理器112处理并传送的图像数据。存储器116还可用于存储处理器114所用的代码和/或数据以及所述移动终端100的实现其他功能所需用到的数据。例如，存储器116还可存储语音通讯的对应数据。 

在运行中，处理器114通过图像传感器110启动图像捕捉功能。图像传感器110可将与捕捉到的图像相对应的视频数据传送到图像处理器112。图像处理器112中视频编码器112a可将视频数据进行压缩以便于将该数据存储或传 送到其他设备。图像处理器112还可将传送到移动终端100的视频数据进行解码。所述解码操作可通过视频解码器112b实现，该解码器包含有可处理具有无效或缺失前向参考图像的B图像的处理方法。对具有无效或缺失前向参考图像的B图像的处理过程将会在图2a-图6中进行描述。存储器116中的视频数据将会被处理器114进一步处理。 

图2a是结合本发明一实施例使用中的视频图像随机访问的示意图。图中示出可供解码显示的视频信息序列200，其中的随机访问点为序列头210。由于包括MPEG1、MPEG2以及AVS1-P2在内的很多视频编码标准都利用前向和后向参考图像来生成图像帧，因而对视频解码的控制是通过对视频解码起始点的控制来实现的。例如，一些由视频编码所生成的视频图像可包括帧内(I)图像、双向预测(B)图像以及预测(P)图像。 

I图像包含有用于图像显示的完整信息。P图像包含了在前的I或P参考图像与当前P图像之间的区别信息。B图像既包含了在前的I或P参考图像与当前P图像之间的区别信息，也包含了之后的I或P参考图像与当前P图像之间的区别信息。由于P图像或B图像可能需要参照在其后显示出来的P图像或B图像，编码的视频文件可包含序列外的图像，因此当前图像可参照已经解码的后一图像。 

如图2a所示，包含有用于对压缩视频数据进行解码操作的相关信息的序列头210是视频信息200的起始点。该序列头210可包括，例如，解压视频图像的宽度和高度信息。紧跟序列头210的视频图像包括：I图像212、B图像214和216、P图像218以及B图像220和222。图中还示出了用于B图像214和216进行参照的来自前一视频序列的参考图像205。 

由于一个图像在显示时需要参照与之相关的一个或多个其之后的图像，因而所采用的压缩方法可压缩后一图像并将该后一图像放置在参照该后一图像的P/B图像之前的文件中。例如，虽然该视频信息序列200中的图像传送按如下方式进行：I图像212、B图像214、B图像216、P图像218、B图像220和B图像222，但这些图片的显示顺序却不一样，比如：先是B图像214，然后B图像216、I图像212、B图像220、B图像222以及P图像218。 

在一些情况下，移动终端100中的用户可能会要求从视频的一个随机访问点而非视频文件的起始点开始显示。例如，用户可能希望从视频开始的某时间偏移处开始观看视频。在这种情况下，视频显示包含了对起始于用户所选择时间点附近的一个序列头的数据的处理，例如，从序列头210开始。被选择作为随机访问点的序列头取决于设计。该序列头可包括供视频解码器112b进行正确解压操作的有用信息。P图像218可参照视频序列200中序列头210之后的的其他图像。然而，B图像214以及216可参照序列头210之前的前一视频序列中的参考图像205，也可参照后向参考图像212。 

因此，由于待解压的部分视频需要参照参考图像205，因而B图像214和216的解压操作将无法正确进行。然而，由于B图像不用于I图像或B图像的参照，解压后的B图像214和216中的任何伪像都将只存在于B图像214和216中。 

图2b是本发明一实施例中编辑视频图像的效果示意图。图中示出待解压显示的视频信息250。例如，视频信息250可包括第一序列头260、I图像262、B图像264和266、P图像268、B图像270和272、视频编辑代码(VEC)274、第二序列头276、I图像278以及B图像280和282。视频信息250的解压后的图像将按如下顺序进行显示：先是B图像264，然后是B图像266、I图像262、B图像270、B图像272、P图像268、B图像280、B图像282以及I图像278。 

序列头260以及276、图像262…272以及278…282与图2a中所描述的对应部分相似。视频编辑代码274被诸如由中国音视频编码标准工作组制定的AVS1-P2等标准所采用。可选的视频编辑代码用于表明紧跟I图像后的连续B图像可能具有无效或缺失的前向参考图像，该视频编辑代码并非必要组件。例如，该视频编辑代码274将会指示出B图像280以及282未被正确解码。如果包括图像262…272在内的视频文件的一部分经过编辑使得其具有与后续视频图像不同的压缩方式或该部分被删除时，上述情况将会发生。因此，即使前向参考图像268已经被解码并且已存入图像缓存中，B像图280以及282的解码操作都不会再依赖于前向参考图像268进行。 

AVS1-P2标准可允许B图像使用“无前向参照”标志。该标志可断言B图像是否不参照前向参考图像。如果“无前向参照”标志未被断言，则表明B图像可参照前向参考图像。因此，通过检查该“无前向参照”标志是否被断言，视频解码器112b将会在前向参考图像无效或缺失的情况下采取适当的措施。所述措施将在图3到图6中进行描述。 

图3是本发明一实施例中对具有无效或缺失前向参考图像的B图像进行解码的流程图。如图所示，流程从步骤300开始到步骤310结束。在步骤300中，随机访问被指示给视频解码器112b，或者检测到视频编辑代码例如VEC274。该步骤中同样可以实现对I图像和/或P图像的解码。在步骤302中，能够对具有无效或缺失前向参考图像的B图像进行解码操作的视频解码器112b将会判断随后的起始代码是否与序列头相对应。如果随后的起始代码与序列头不对应，则执行步骤304；如果随后的起始代码与序列头相对应，例如，对应于序列头276，则下一步执行步骤306。 

步骤304为错误状态，便于在遇到非预期的起始代码时对错误进行处理。所述错误处理取决于设计。因此，在步骤304中，当针对序列头的预期起始代码未被检测到时，将会执行错误处理操作。在步骤306中，视频解码器112b会判断下一起始代码是否与I图像相对应。如果二者对应，I图像就会被解码，并执行步骤308；如果二者不对应，下一步将会执行步骤304。在步骤304中，当预期的I图像无效或缺失时，将会执行错误处理操作。 

在步骤308中，如果检测到B图像并且此时“无前向参照”标志未被断言，则下一步执行步骤310。如果“无前向参照”标志被断言，则将会对B图像进行处理。所述对B图像的处理操作将会在图4到图6中进行描述。否则，如果检测到的是I图像和/或P图像，则下一步将会执行步骤300，对所述I图像和/或P图像进行处理，与此同时等待随机访问点指示或视频编辑代码的检测。 

图4是本发明一实施例中对具有无效或缺失前向参考图像的B图像进行显示的一种方法的流程图。如图所示，流程开始于步骤400，结束于步骤406，该流程可为步骤308和/或310的一部分。在步骤400中，判断当前图像是否 为B图像，如果是则执行步骤402，否则执行步骤300。在步骤402中，判断该B图像是否参照前向参考图像，如果是，则执行步骤404，否则执行步骤406。在步骤404中，该B图像将被弃除。随后执行步骤310。在步骤406中，B图像也会被弃除，随后执行步骤308。因此，紧随序列头后的I图像出现的B图像相邻序列，例如，B图像280和282，将会被弃除。 

虽然通过该方法可使用两种独立的状态308和310，但是由于不论B图像是否参照前向参考图像都会被弃除，因此本发明的其他实施例中可采用单一状态，包括状态308和310。 

图5a是本发明一实施例中对具有无效或缺失前向参考图像的B图像进行显示的另一种方法的流程图。如图5a所示，流程开始于步骤500并且结束于步骤504，该流程可是步骤310的一部分。在步骤500中，判断当前图像是否为B图像，如果是，则执行步骤502，如果不是，则执行步骤300。在步骤502中，判断该B图像是否参照前向参考图像，如果是，则执行步骤504，否则执行步骤308。在步骤504中，该B图像将被弃除。由于步骤310中的B图像可能参照了前向参考图像，该方法可将那些参照了无效或缺失前向参考图像的B图像有选择地弃除掉。例如，紧跟序列头后的B图像相邻序列，例如，B图像280和282，如果参照了无效或缺失的前向参考图像，则这两个B图像将会被弃除。那些未参照前向参考图像的B图像，比如在步骤308中进行处理的B图像，将被解压缩并进行显示。 

图5b是本发明一实施例中对具有无效或缺失前向参考图像的B图像进行显示的一种方法的编码流程图。如图所示，步骤510到524是为B图像生成非降(non-descending)“无前向参照”标志的流程。断言B图像中的“无前向参照”标志，则表明该B图像没有参照前向参考图像。例如，如果B图像280包含一个被断言的“无前向参照”标志，则对该B图像280的解码操作无须参照P图像268。相似地，如果B图像280包含一个被去断言的“无前向参照”标志，则对该B图像280的合适解码操作需要参照P图像268。采用这种方法可有效减小或消除震颤，例如，在对解码的视频图像进行显示时，由于对B图像中“无前向参照”标志的随机设置会导致震颤的产生。因此，如果B图 像相邻序列中的某一B图像的“无前向参照”被断言，则该序列中余下B图像的“无前向参照”标志也将被断言。 

在步骤510中，生成视频序列的序列头。在步骤512中，视频编码器112a使主“无前向参照”标志去断言。该主“无前向参照”标志的状态还将被复制给每个B图像头文件的“无前向参照”标志。在步骤514中，如果将生成I图像或P图像，则下一步执行步骤516，否则下一步执行步骤518。在步骤516中，生成适合一个视频序列的I图像或P图像。下一步执行步骤514。在步骤518中，视频编码器112a将判断B图像例如B图像280是否参照前向参考图像例如P图像268。如果是，下一步执行步骤520，否则执行步骤522。 

在步骤520中，视频编码器112a将会判断其内的主“无前向参照”标志是否被断言。如果是，下一步执行步骤522，否则执行步骤524。在步骤522中，B图像头文件中的“无前向参照”标志被设置为断言状态。因此，一旦主“无前向参照”标志被断言，则无论B图像是否参照前向参考图像，该B图像头文件中的“无前向参照”标志都将被设置为断言状态。在步骤524中，如果视频编码器112a接着将要生成的数据块是序列头，则下一步执行步骤510，否则下一步骤执行步骤514。 

图6是本发明一实施例中对具有无效或缺失前向参考图像的B图像进行显示的另一种方法的流程图。流程开始于步骤600并结束于步骤610，该流程是步骤310的一部分。所述步骤600到610是用于处理视频序列例如图2a和/或2b所描述的视频序列的处理流程。 

在步骤600中，检查用于对B图像进行计数的计数器是否为零。如果是，则第一个B图像将会在步骤602中进行处理，否则，第二个B图像将会在步骤608中进行处理。在步骤602中，参照了一个无效前向参考图像的第一个B图像将会被合适的插补图像所替换。所述插补操作取决于设计。步骤610后将会对B图像的插补算法进行描述。如果使用了无效的前向参考图像，则在对B图像进行显示的过程中将会看到伪像，例如，在移动终端100的显示器(图中未示出)上显示时。在步骤604中，对B图像进行计数的计数器将会递增。在步骤606中，可能为B图像的下一图像将会通过解析其头文件来判断“无 前向参照”标志是否被断言。如果是，则下一步执行步骤308，否则执行步骤600。 

在步骤608中，参照了无效前向参考图像的第二个B图像被合适的插补图像所替换。在步骤610中，对B图像计数的计数器清零，下一步执行步骤300。 

在一些情况下，位于I图像278之后的第一个B图像280和/或第二个B图像282都将被合适的插补图像所替换。虽然可采用的插补方法有很多种，但这里采用的示例方法是对经解码的后向参考图像I2’以及经解码的前向参考图像P5’进行加权来插补新的B图像，其中，所述后向参考图像I2’与I图像278相对应，前向参考图像P5’与P图像268相对应。例如，当视频编辑代码274表明前向参考图像无效时，用于生成分别与B0图像280和B1像图282相对应的解码图像所进行的加权操作如下： 

B0＝(2/3)*(P5’)+(1/3)*(I2’) 

B1＝(1/3)*(P5’)+(2/3)*(I2’)。 

当经解码的前向参考图像不可用，例如，发生随机访问时，用于生成分别与B0图像280和B1图像282相对应的解码图所进行的加权操作如下： 

B0＝(1/3)*(I2’) 

B1＝(2/3)*(I2’)。 

因此，B图像可描述成从前一视频序列淡入或淡出到当前视频序列。所述插补操作是通过例如处理器114和/或图像处理器112而进行的。 

对每个参照无效前向参考图像的B图像进行的线性插补是：((m+1-n)/(m+1))*(经解码的前向参考图像)+(n/(m+1))*(经解码的后向参考图像)，并且对参照缺失的前向参考图像的B图像进行的线性插补是(n/(m+1))*(经解码的后向参考图像)。其中，参数“m”是所述B图像相邻序列中B图像的数量，参数“n”是B图像序列中B图像的位置。例如，对于图2b中的B图像280和282构成的相邻序列，参数m值为2，并且B图像280的n＝1，B图像282的n＝2。 

因此，通过对包含序列头的视频文件和/或包含视频编辑代码的视频文件 的适当处理，本发明众多实施例在B图像不具有有效的前向参考图像的情况下不会在显示视频信息过程中生成伪像。 

根据本发明的一个实施例，本发明的系统可包括图像处理器112，其中该图像处理器112包含视频编码器112a以及视频解码器112b。视频解码器112b可对压缩的视频数据中相邻B图像的序列进行解码，例如序列头276之后的第一I图像例如I图像278后紧跟的B图像280和282。视频解码器112b可对例如AVS1-P2格式的视频数据内的视频编辑代码和/或随机访问点进行处理。本发明的一些实施例中，视频解码器112b将弃除B图像280和282的相邻序列。 

在本发明的其他实施例中，视频解码器112b能够判断用于B图像280和282的前向参考图像(例如P图像268)是否无效或缺失。该判断可通过对“无前向参照”标志是否被断言进行判断来实现。当“无前向参照”被断言时，则说明该B图像没有前向参考图像。该“无前向参照”标志可以是通过例如AVS1-P2标准进行压缩的每个图像的一部分。若B视频解码器112b将会弃除B图像相邻序列中的每个参照了无效或缺失的前向参考图像的B图像。 

本发明的一些实施例通过视频编码器112a生成B图像280和282。本发明的一实施例中，在B图像280的“无前向参照”标志被断言的情况下，视频编码器112a可将B图像282的“无前向参照”标志也被断言。这种方法可减少在对压缩图像进行解码过程中伪像的产生。虽然B图像280和282在此作为例子介绍，该算法同样适用于其他可生成不止两个相邻B图像的视频序列。因此，当紧跟序列头之后的第一个I图像后生成的一B图像相邻序列中的一个B图像的“无前向参照”标志被断言时，该序列中剩余B图像的“无前向参照”标志同样被断言。 

在例如B图像280通过其被断言的“无前向参照”标志表明该B图像参照了前向参考图像(例如P图像268)的情况下，B图像280的解码操作将无法正确进行，因为视频编辑代码274显示出该P图像268并不是B图像280和282的有效前向参考图像。因此，与其参照P图像268或者放弃B图像280和/或282，不如生成一个插补的解码图像，该插补可以使线性的或非线性的插 补。所述插补操作可通过图像处理器112中的视频编码器112a和/或处理器114进行。 

本发明的一些实施例中，采用了如下例子中所描述的对B图像280和282进行插补的线性插补方法。例如，当经解码的前向参考图像可用但无效时，对B图像280的线性插补描述为：(2/3)*(经解码的前向参考图像)+(1/3)*(经解码的后向参考图像)。类似地，对B图像282的线性插补描述为：(1/3)*(经解码的前向参考图像)+(2/3)*(经解码的后向参考图像)。 

当所述经解码的前向参考图像不可用时，例如，发生随机访问时，对B图像280进行的线性插补为：(1/3)*(经解码的后向参考图像)，对B图像282进行的线性插补为：(2/3)*(经解码的后向参考图像)。因此，这种对B图像280和282的插补操作与淡入或淡出处理过程是相类似的。 

对每个参照无效的前向参考图像的B图像进行的线性插补可归纳为：((m+1-n)/(m+1))*(经解码的前向参考图像)+(n/(m+1))*(经解码的后向参考图像)，并且对参照缺失的前向参考图像的B图像进行的线性插补可归纳为(n/(m+1))*(经解码的后向参考图像)。其中，参数“m”是所述B图像相邻序列中B图像的数量，参数“n”是该序列中B图像的位置。例如，对于图2b中的B图像280和282，参数m值为2，并且B图像280的n＝1，B图像282的n＝2。 

本发明的众多实施例可包括对压缩的视频通过例如视频解码器112b进行解码，该流程的描述见如图3的流程图。因此，当检测到随机访问或视频编辑代码时，会有从第一状态或步骤300到第二状态或步骤302的转换。当检测到序列头时，会从第二状态转换到第三状态或步骤306。当在第二状态中检测到其它数据块例如I图像、P图像、B图像或视频编辑代码时，会转换到错误状态或步骤304。 

当检测到I图像时，会从第三状态转换到第四状态或步骤308。当在第三状态中检测到其它数据块例如I图像、P图像、B图像、视频编辑代码或序列头时，会转换到错误状态。当检测到对前向参考图像进行参照的B图像时，会从第四状态转换到第五状态或步骤310。当检测到I图像或P图像时，会从 第四状态转换到第一状态。当检测到未参照前向参考图像的B图像时，会从第五状态转换到第四状态。当检测到I图像或P图像时，会从第五状态换换到第一状态。 

在本发明的实施例中，视频解码器112b可对第四及第五状态中的B图像进行弃除。因此，该方法可弃除紧跟序列头之后第一个I图像后的一B图像相邻序列。本发明的其它实施例中，视频解码器112b可对第五状态中的B图像进行弃除。因此，该方法可对紧跟序列头之后第一个I图像后的B图像相邻序列中参照了前向参考图像的B图像进行弃除。 

本发明的其它实施例将会对与紧跟序列头之后第一个I图像的一B图像相邻序列的相对应的解码图像进行插补操作。B图像相邻序列的典型示例包括两个B图像，例如，B图像280和282，器可参照前向参考图像，例如P图像268，以及后向参考图像，例如I图像278。当解码的前向参考图像可用但无效时，与B图像280相对应的插补图像通过以下算法生成：(2/3)*(经解码的前向参考图像)+(1/3)*(经解码的后向参考图像)。类似地，与B图像282相对应的插补图像通过以下算法生成：(1/3)*(经解码的前向参考图像)+(2/3)*(经解码的后向参考图像)。 

当所述解码的前向参考图像不可用时，例如，发生随机访问时，对B图像280进行的线性插补为：(1/3)*(经解码的后向参考图像)，对B图像282进行的线性插补为：(2/3)*(经解码的后向参考图像)。因此，这种对B图像280和282的插补操作与淡入或淡出过程是相类似的。 

对每个参照无效的前向参考图像的B图像进行的线性插补可归纳为：((m+1-n)/(m+1))*(经解码的前向参考图像)+(n/(m+1))*(经解码的后向参考图像)，并且对参照缺失的前向参考图像的B图像进行的线性插补可归纳为(n/(m+1))*(经解码的后向参考图像)。其中，参数“m”是所述B图像相邻序列中B图像的数量，参数“n”是所述B图像相邻序列中的B图像的位置。例如，对于图2b中的B图像280和282，参数m值为2，并且B图像280的n＝1，B图像282的n＝2。 

本发明的一个实施例提供了一种机器可读存储器，其上存储有计算机程 序。该程序至少包含一段用于处理具有缺失或无效前向参照图的B图像的代码，所述至少一段代码由机器执行使得该机器能够执行本申请中所述的方法步骤。 

因此，本发明可应用于硬件、软件、固件或其各种组合。本发明可以在至少一个计算机系统的集中模式下实现，或者在分布式模式下实现，在所述分布式模式下，不同组件分布在几个互联的计算机系统中。采用任何适用于执行本发明介绍的方法的计算机系统或者其他设备都是合适的。一种硬件、软件和固件的典型组合是具有计算机程序的通用计算机系统，当程序被加载和执行时，控制所述计算机系统以使其执行本申请描述的方法。 

本发明还可以嵌入到计算机程序产品内，所述计算机程序包含能够实现本发明方法的全部特征，当其安装到计算机系统中时，通过运行，可以实现本发明的方法。本文件中的计算机程序所指的是：可以采用任何程序语言、代码或符号编写的一组指令的任何表达式，该指令组使系统具有信息处理能力，以直接实现特定功能，或在进行下述一个或两个步骤之后实现特定功能：a)转换成其它语言、编码或符号；b)以不同的格式再现。然而，本领域技术人员能够理解的计算机程序的其它含义也被本发明所包含。 

虽然本发明是通过几个具体实施例进行说明的，本领域技术人员应当明白，在不脱离本发明范围的情况下，还可以对本发明进行各种变换及等同替代。另外，针对特定情形或具体情况，可以对本发明做各种修改，而不脱离本发明的范围。因此，本发明不局限于所公开的具体实施例，而应当包括落入本发明权利要求范围内的全部实施方式。 

Claims (10)

1.一种视频信号处理方法，其特征在于，所述方法包括：

在接收到压缩视频数据中的序列头之后，判断在所述压缩视频数据中的第一个I图像之后是否紧跟有连续相邻的B图像序列；

根据所述判断对所述B图像相邻序列进行解码，其中，所述解码操作根据视频编辑代码和/或随机访问点进行B图像弃除或相应的插补处理，所述视频编辑代码用于表明紧跟I图像后的连续B图像可能具有无效或缺失的前向参考图像。

2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：将判断为紧跟所述第一个I图像之后的B图像相邻序列中的每个B图像弃除。

3.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：当所述B图像相邻序列中的每个B图像所参照的前向参考图像是无效的或者缺失时，弃除所述B图像相邻序列中的每个B图像。

4.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：当所述B图像相邻序列中的每个B图像所参照的前向参考图像是无效的或者缺失时，插补与所述B图像相邻序列中的每个B图像相对应的解码图像。

5.根据权利要求4所述的方法，其特征在于，当所述前向参考图像无效但可用时，所述插补操作使用如下算法进行：

((m+1-n)/(m+1))*(经解码的前向参考图像)+(n/(m+1))*(经解码的后向参考图像)，

其中，参数“m”是所述B图像相邻序列中B图像的数量，参数“n”是所述B图像的基于1的索引。

6.一种视频信号处理系统，其特征在于，所述系统包括：

一个或多个电路，用于判断在压缩视频数据中的第一个I图像之后是否紧跟有连续相邻的B图像序列，并根据所述判断对所述B图像相邻序列进行解码，其中，所述解码操作根据视频编辑代码和/或随机访问点进行B图像弃除或相应的插补处理，所述视频编辑代码用于表明紧跟I图像后的连续B图像可能具有无效或缺失的前向参考图像。

7.根据权利要求6所述的系统，其特征在于，所述一个或多个电路将判断为紧跟所述第一个I图像之后的B图像相邻序列中的每个B图像弃除。

8.根据权利要求6所述的系统，其特征在于，所述一个或多个电路用于当所述B图像相邻序列中的每个B图像所参照的前向参考图像是无效的或者缺失时，弃除所述B图像相邻序列中的每个B图像。

9.根据权利要求6所述的系统，其特征在于，所述一个或多个电路用于当所述B图像相邻序列中的每个B图像所参照的前向参考图像是无效的或者缺失时，插补与所述B图像相邻序列中的每个B图像相对应的解码图像。

10.根据权利要求9所述的系统，其特征在于，所述一个或多个电路包括一个或多个用于实现解码图像的插补的处理器，其中，当所述前向参考图像无效但可用时，所述插补操作使用如下算法进行：

((m+1-n)/(m+1))*(经解码的前向参考图像)+(n/(m+1))*(经解码的后向参考图像)，

其中，参数“m”是所述B图像相邻序列中B图像的数量，参数“n”是所述B图像的基于1的索引。

Images