CN102006467B - 视频发送装置、视频接收装置、视频发送方法及视频接收方法 - Google Patents

Abstract

公开了一种视频发送装置、视频接收装置、视频发送方法及视频接收方法。该视频发送装置包括：错误接收器，其从用于接收由对包括画面的视频数据进行编码而产生的比特流的视频接收装置接收指示检测到错误的错误信息；编码模式选择器，其在错误接收器接收到错误信息时选择传播防止编码模式作为编码模式；以及编码器，其根据所选择的编码模式对视频数据进行编码。在传播防止编码模式中，对强制帧内块执行帧内编码；针对参考编码单元设置搜索范围，使得不包括来自充当强制帧内块和其它块之间的边界的边界线的相应像素，该相应像素对应于临近像素的数量；以及通过改变去块滤波器设置信息来对去块滤波器处理设置限制。

Description

视频发送装置、视频接收装置、视频发送方法及视频接收方法

技术领域

本发明涉及视频发送装置、视频接收装置、视频发送方法及视频接收方法，其例如优选地应用于编码装置，该编码装置用于对通过地面数字广播分发的视频数据进行编码。

背景技术

已经开发了用于将HD(高清晰度)活动图像数据无线地发送到放置于远程位置的显示装置(如壁挂式电视)的无线传输技术。用于无线传输技术的传输系统例如采用使用60GHz频带的毫米波、使用5GHz频带的IEEE(电气电子工程师协会)802.11n(无线LAN(局域网))以及UWB(超宽带)。

在无线传输技术中，HD活动图像数据被编码并压缩以用于传输。在无线传输技术中，希望最小化从HD活动图像数据被发送直到图像被显示在显示装置上的延时量。这是因为延时量的减小使得可以实现地面数字广播的广播节目等的实时显示。

例如，在针对每个画面在I画面、P画面和B画面之间转换画面类型的编码系统中，用于I画面的编码数量与其它类型的画面相比更大。这样，当将该编码系统应用于无线传输技术时，针对具有相等数量的编码的每个GOP(画面组)进行缓冲，因此延时量也增加。

因此，如图1所示，提出了一种视频处理装置，该视频处理装置适于发送根据使用MPEG(活动图像专家组)2的帧内片段方法来编码的HD活动图像数据(例如参考日本未经审查的专利申请公布No.11-205803)。

在使用MPEG-2的帧内片段方法中，画面由待帧内编码的I画面区域I_MB和待转发预测编码的P画面区域P_MB构成。在帧内片段方法中，使得针对每个画面出现具有预定数量的宏块线的I画面区域(以下将该I画面区域称为“刷新线RL”)。刷新线RL相继出现偏移，由此在周期T中出现在所有画面中。

这样，在帧内片段方法中，可以使针对每个画面的编码数量相等，从而减小从HD活动图像数据被发送直到图像被显示在显示装置上的延时量。

发明内容

具有这种配置的编码装置使得I画面区域I_MB在一个周期中出现在整个区域中。由于大量的编码被分配给I画面区域I_MB，所以存在的问题是，分配给P画面区域P_MB的编码数量减少并且图像质量降低。

考虑到上述问题，希望提供一种能够改进图像质量的视频发送装置、视频接收装置、视频发送方法和视频接收方法。

根据本发明的一个实施例，提供一种视频发送装置。该视频发送装置包括：错误接收器，其从用于接收由于对包括画面的视频数据编码而产生的比特流的视频接收装置接收指示检测到错误的错误信息；编码模式选择器，其在错误接收器接收到错误信息时选择传播防止编码模式作为编码模式；以及编码器，其根据由编码模式选择器选择的编码模式来对视频数据进行编码。在传播防止编码模式中，对强制帧内块执行帧内编码；为参考编码单元设置搜索范围，使得搜索范围不包括来自于充当强制帧内块和除强制帧内块之外的块之间的边界的边界线的相应像素，该相应像素对应于临近像素的数量；以及通过改变去块滤波器设置信息来对去块滤波器处理设置限制。

这样，根据本发明的实施例中的视频发送装置，这是足够的，即当错误发生时，操作进入图像质量可能下降的传播防止编码模式。这样，可以在无错误发生时提高图像质量。

根据本发明的另一个实施例，提供一种视频发送方法。该视频发送方法包括步骤：从用于接收由于对包括画面的视频数据编码而产生的比特流的视频接收装置接收指示检测到错误的错误信息；当在错误信息接收步骤中接收到错误信息时，选择传播防止编码模式作为编码模式；以及根据在编码模式选择步骤中选择的编码模式来对视频数据进行编码。在传播防止编码模式中，对强制帧内块执行帧内编码；为参考编码单元设置搜索范围，使得搜索范围不包括来自于充当强制帧内块和除强制帧内块之外的块之间的边界的边界线的相应像素，该相应像素对应于临近像素的数量；以及通过改变去块滤波器设置信息来对去块滤波器处理设置限制。

这样，根据本发明的实施例中的视频发送方法，这是足够的，即当错误发生时，操作进入图像质量可能下降的传播防止编码模式。这样，可以在无错误发生时提高图像质量。

根据本发明的又一个实施例，提供一种视频接收装置。该视频接收装置包括：比特流接收器，其接收从视频发送装置发送的比特流，该比特流由于对包括画面的视频数据进行编码而产生；可逆解码部分，其对比特流执行可逆解码；错误检测器，其通过在检测到偏离与视频发送装置预先确定的规则的值时识别出错误存在来检测通过可逆解码部分进行可逆解码的比特流中的编码单元的数据中的错误；以及错误发送器，其在错误检测器检测到错误时将错误位置信息或错误传播信息添加到指示检测到错误的错误信息中，并将所产生的错误信息发送给视频发送装置，该错误位置信息指示检测到错误的位置，错误传播信息指示错误可能传播的错误传播范围。

利用这种设置，根据本发明的实施例中的视频接收装置和视频接收方法，视频发送装置能够适当地识别检测到错误。这样，仅在错误发生时，使得视频发送装置进入图像质量可能降低的传播防止编码模式。因此可以在无错误发生时提高图像质量。

根据本发明的再一个实施例，提供一种视频接收方法，该视频接收方法包括步骤：接收由于对包括画面的视频数据进行编码而产生的比特流；对比特流执行可逆解码；通过在检测到偏离与视频发送装置预先确定的规则的值时识别出错误存在来检测在可逆解码步骤中被可逆解码的比特流中的编码单元的数据中的错误；以及在错误检测器检测到错误时将错误位置信息或错误传播信息添加到指示检测到错误的错误信息中，并将所产生的错误信息发送给视频发送装置，该错误位置信息指示检测到错误的位置，错误传播信息指示错误可能传播的错误传播范围。

利用这种设置，根据本发明的实施例中的视频接收方法，视频发送装置能够适当地识别检测到错误。这样，仅在错误发生时，使得视频发送装置进入图像质量可能降低的传播防止编码模式。因此可以在无错误发生时提高图像质量。

根据本发明，当错误发生时操作进入图像质量可能下降的传播防止编码模式就足够了。这样，可以在没有错误发生时提高图像质量。因此，本发明可以实现能够提高图像质量的视频发送装置、视频接收装置、视频发送方法和视频接收方法。

附图说明

图1是图解帧内片段方法的示意图；

图2是示出视频处理系统的配置的框图；

图3是示出视频编码器的配置的框图；

图4是示出视频解码器的配置的示意图；

图5A和图5B是图解运动预测过程中的错误传播的示意图；

图6图解从错误的恢复；

图7是图解基于AVC的运动预测过程中的错误的传播的示意图；

图8A到图8C是图解第二传播防止系统中防止错误传播的示意图；

图9A到图9C是图解片段边界的传播和错误的传播的示意图；

图10A到图10C是图解在片段边界固定时防止错误传播的示意图；

图11是图解去块滤波器的影响的示意图；

图12A和图12B是图解第二传播防止系统中的搜索范围的示意图；

图13是图解第三传播防止系统的示意图；

图14是图解对于每个宏块出现刷新块的示意图；

图15是图解在检测到包丢失时提供上行信息的示意图；

图16是图解在检测到来自数据的错误时提供上行信息的示意图；

图17A到图17C是图解识别传播范围和在编码模式之间转换的示意图；

图18是图解编码模式之间的转换的示意图；

图19是图解编码处理过程的流程图；以及

图20是图解用于部分区域传播防止模式的处理过程的流程图。

具体实施方式

下面将参考附图对本发明的实施例进行描述。按以下顺序给出下面的描述：

1、实施例(AVC帧内片段方法中的模式转换)；以及

2、其它实施例。

<1、第一实施例>

[1-1：视频处理系统的配置]

图2中的附图标记100总体上指示以无线视频数据传输系统为代表的视频处理系统。视频处理系统100例如是接收地面数字广播等的广播信号的壁挂式电视，并具有视频处理装置1和显示装置30。

视频处理装置1接收广播信号S1并根据H.264/AVC(高级视频编码)对从广播信号S1获得的视频数据进行编码以产生比特流S6。视频处理装置1以无线方式将比特流S6和由对音频数据编码产生的编码的音频数据S7发送到显示装置30。显示装置30对比特流S6和编码的音频数据S7进行解码，并输出所产生的图像。结果，显示装置30允许用户欣赏基于地面数字广播等的广播节目内容。

数字广播接收器2例如连接到天线或诸如因特网的网络，并配备有外部接口，用于接收地面数字广播等的广播信号S1。例如根据MPEG(活动图像专家组)2标准对广播信号S1进行编码。

在接收到代表广播节目内容的广播信号S1时，数字广播接收器2将广播信号S1作为广播信号S2提供给数字调谐部分3。数字调谐部分3对广播信号S2进行解码以产生视频数据S4和音频数据S5。

数字调谐部分3将视频数据S4提供给视频编码器4，并将音频数据S5提供给音频编码器5。视频编码器4执行视频编码处理(在下面描述)，用于根据H.264/AVC对视频数据S4进行编码以产生比特流S6，并将该比特流S6提供给收发器6。

音频编码器5根据预定的编码系统对音频数据S5进行编码以产生编码的音频数据S7，并将编码的音频数据S7提供给收发器6。收发器6通过使用诸如IEEE 802.11n的无线传输系统对比特流S6和编码的音频数据S7进行发送。

结果，比特流S6和编码的音频数据S7被提供给显示装置30。在接收到比特流S6和编码的音频数据S7时，显示装置30中的收发器31将比特流S6提供给视频解码器32，并将编码的音频数据S7提供给音频解码器34。

视频解码器32对比特流S6进行解码，以产生与视频数据S4对应的视频数据S14，并将视频数据S14提供给显示部分33。结果，显示部分33基于视频数据S14来显示图像。

音频解码器34对编码的音频数据S7进行解码，以产生与音频数据S5对应的音频数据S15，并将音频数据S15提供给扬声器35。结果，扬声器35基于音频数据S15输出声音。

如上所述，视频处理系统100被配置成将编码的广播信号以无线方式在视频处理装置1和显示装置30之间发送/接收。

[1-2.视频编码器的配置]

如图3所示，当将视频数据S4从数字调谐部分3提供给视频编码器4时，视频数据S4被提供给缓冲器8。

缓冲器8将视频数据S4提供给画面头生成器9。画面头生成器9产生画面头，将产生的画面头添加到视频数据S4，并将产生的视频数据S4提供给帧内宏块确定部分10，并且还提供给运动预测器/补偿器14或帧内预测器15。在这种情况下，画面头生成器9添加标记，如constrained_intra_pred_flag(下面将对其细节进行描述)。

帧内宏块确定部分10确定是否要将每个宏块帧内编码为I宏块或帧间编码为P宏块。帧内宏块确定部分10将确定结果提供给片段分割确定部分11、片段头生成器12和开关28，并且还将视频数据S4提供给计算部分13。

基于由帧内宏块确定部分10进行的确定的结果等，片段分割确定部分11确定是否要对片段进行分割，并将确定结果提供给片段头生成器12。

片段头生成器12产生片段头，将该片段头添加到视频数据S4，并将产生的视频数据S4提供给计算部分13。

当要对视频数据S4进行帧间编码时，计算部分13从视频数据S4中减去由运动预测器/补偿器14提供的预测值L5，并将产生的差值数据D1提供给正交变换部分17。当要对视频数据S4进行帧内编码时，计算部分13从视频数据S4中减去由帧内预测器15提供的预测值L5，并将产生的差值数据D1提供给正交变换部分17。

正交变换部分17通过执行诸如DCT(离散余弦变换)和Karhunen-Loeve变换的正交变换处理来对差值数据D1进行正交变换，并将所产生的正交变换系数D2提供给量化器18。

量化器18通过使用在速率控制器19的控制下确定的量化参数QP来对正交变换系数D2进行量化，并将产生的量化系数D3提供给反量化器23和可逆编码部分20。可逆编码部分20根据CAVLC(基于上下文自适应可变长编码)或CABAC(上下文自适应二进制算术编码)对量化系数D3进行可逆编码，并将产生的可逆编码数据D5提供给存储缓冲器21。

可逆编码部分20从运动预测器/补偿器14和帧内预测器15获得关于帧内编码和帧间编码的信息，并将该信息设置成可逆编码数据D5的头信息。

存储缓冲器21存储可逆编码数据D5，然后以预定的传输速度将可逆编码数据D5作为比特流S6输出。速率控制器19监视存储缓冲器21，并确定量化参数QP，使得所产生的用于可逆编码数据D5的编码数量接近每个控制单元(例如，帧或GOP)的某一编码数量。

反量化器23通过对量化系数D3进行反量化来产生再现正交变换系数L1，并将产生的再现正交变换系数L1提供给反正交变换部分24。反正交变换部分24对再现正交变换系数L1进行反正交变换，以产生再现差值数据L2。反正交变换部分24通过添加再现差值数据L2和同时提供的待参考的块的视频数据来产生局部解码图像L3，并将该局部解码图像L3提供给去块滤波器26。

去块滤波器26对待处理的块执行去块滤波器处理，并将产生的局部解码图像L4提供给帧存储器27。从而，经历去块滤波器处理的局部解码图像L4被存储在帧存储器27中。

帧存储器27将经历去块滤波器处理的局部解码图像L4中对应于待参考的块的局部解码图像L4提供给运动预测/补偿器14或帧内预测器15。在这种情况下，根据由帧内宏块确定部分10执行的确定的结果来操作开关28。

通过参考局部解码图像L4，运动预测/补偿器14执行对视频数据S4的运动预测，以产生针对待处理的块的预测值L5。然后运动预测/补偿器14将预测值L5提供给计算部分13。通过参考局部解码图像L4，帧内预测器15执行对视频数据S4的帧内预测，以产生针对待处理的块的预测值L5。然后帧内预测器15将预测值L5提供给计算部分13。如上所述，视频编码器4适合于对视频数据S4进行编码以产生比特流S6。

[1-3.视频解码器的配置]

如图4所示，当将比特流S6从收发器31提供到视频解码器32时，比特流S6被提供给缓冲器41。

缓冲器41将比特流S6提供给可逆解码部分42。可逆解码部分42根据CAVLC或CABAC对比特流S6进行可逆解码，以产生反量化系数D3，并经由错误检测器43将反量化系数D3提供给反量化器44。可逆解码部分42还基于以可逆方式解码的头部分来确定比特流S6是帧内编码的还是帧间编码的，并将确定结果提供给开关49。

反量化器44通过对量化系数D3进行反量化来产生正交变换系数D2，并将产生的正交变换系数D2提供给反正交变换部分45。反正交变换部分45对正交变换系数D2进行反正交变换以产生差值数据D1，并将该差值数据D1提供给计算部分46。

当对差值数据D1进行帧间编码时，计算部分46将由运动预测器/补偿器47提供的预测值R1添加到差值数据D1，并将产生的视频数据D0提供给去块滤波器51。当对差值数据D1进行帧内编码时，计算部分46将由帧内预测器48提供的预测值R1添加到差值数据D1，并将产生的视频数据D0提供给去块滤波器51。

去块滤波器51根据disable_deblocking_filter_idc对视频数据D0执行去块滤波器处理，并将产生的视频数据S14提供给帧存储器50和缓冲器52。

帧存储器50向运动预测器/补偿器47或帧内预测器48提供与待参考的块对应的视频数据S14。在这种情况下，根据由可逆解码部分42执行的确定结果来操作开关49。

运动预测器/补偿器47通过参考视频数据S14来执行运动预测，以产生针对待处理的块的预测值R1，并将预测值R1提供给计算部分46。帧内预测器48通过参考视频数据S14来执行帧内预测，以产生针对待处理的块的预测值R1，并将预测值R1提供给计算部分46。

缓冲器52以预定速度将视频数据S14提供给D/A(数/模)转换器53。D/A转换器53将视频数据S14转换成模拟视频数据，并将该模拟视频数据提供给显示部分33。结果，显示部分33基于视频数据S14显示图像。

如上所述，视频解码器32适合于对比特流S6进行解码，以产生视频数据S14。

[1-4.正常编码模式和传播防止编码模式]

在无错误地发送比特流S6的正常操作中，本实施例中的视频处理装置1产生仅包括前向编码的P画面的正常编码比特流6Sa作为比特流S6，并将该正常编码比特流6Sa提供给显示装置30。通过参考先前的画面来解码正常编码比特流6Sa。这样，当在传输过程中发生错误时，该错误进行传播。

视频处理装置1具有作为编码模式的正常编码模式和传播防止编码模式，其中不发生错误传播。当显示装置30检测到错误时，视频处理装置1进入传播防止编码模式，当完成错误恢复时，视频处理装置1再次进入正常编码模式。

此外，视频处理装置1具有用于传播防止编码模式的第一到第三传播防止系统，并适合于选择对应于通信速率的传播防止系统之一。

更具体地说，在启动通信的过程中，视频处理装置1通过向/从显示装置30发送/接收数据来确定通信速率。当通信速率低时，视频处理装置1选择第一传播防止系统。当通信速率大约中等时，视频处理装置1选择第二传播防止系统，其与第一传播防止系统相比能够提高图像质量。当通信速率高时，视频处理装置1选择第三传播防止系统，其提供比第一和第二传播防止系统更好的图像质量。

第一到第三传播防止系统中的每个是由将帧内片段方法改变成H.264/AVC而得到的。在基于MPEG-2的帧内片段方法中，对运动向量搜索范围施加了限制，以防止错误传播。H.264/AVC还具有一些由于与MPEG-2的不同而产生的AVC专有的错误传播原因。

下面将结合第一到第三错误传播原因对AVC专有错误传播原因相继进行描述。第一错误传播原因是针对运动向量的检测的搜索范围。

如图5A和5B所示，在帧内片段方法中，执行编码使得刷新线RL对于每个画面逐线变化。刷新线RL可以是针对每个宏块的线或者可以是针对多个宏块的线。刷新线RL出现在的线单元在下文中被称为“编码线单元”。宏块沿其以x方向(水平方向)设置的线被称为“宏块线”。一个宏块线是指宏块沿其设置的一个线。

利用该设置，如果在解码过程中在一个画面中发生错误，则仅有刷新线RL在下一个画面中返回，而其余的帧间编码区域变为未返回线UR，如图5A所示。

在帧内片段方法中，通过使用上一个画面中的刷新线RL作为搜索范围，运动向量被检测以执行编码。在解码过程中，能够仅参考刷新线RL(如图5B所示)对下一个画面进行解码，而不参考未返回线UR。这样，与待参考的以及包含在上一个画面中的刷新线RL对应的部分能够作为返回线AR被返回。

如图6所示，返回线AR的数量由于刷新线RL出现而逐渐增加。当针对具有周期T的画面完成了解码时，刷新线RL的出现在所有位置处完成，并且图像能够在画面中的所有位置处返回。

在H.264/AVC中，以四分之一像素精度来检测运动向量。这样，根据H.264/AVC来执行编码处理的编码装置使用6抽头FIR(有限脉冲响应)滤波器，以产生半像素和四分之一像素。6抽头FIR滤波器参考临近的六像素。

这样，如图7所示，关于位于从刷新线RL和未返回线UR之间的边界(该边界在下文中被称为“刷新边界BD”)开始的三个像素外侧(即朝向未返回线UR)的半像素和四分之一像素(由竖线指示)，指的是未返回线UR。刷新边界BD是指能够作为刷新线RL和未返回线UR之间的边界的边界(即，每个编码行单元的边界)。虽然在图7的实例中仅在y方向上的像素之间产生半像素和四分之一像素，但是在实践中也在x方向产生半像素和四分之一像素。

结果，即使在刷新线RL内部，错误也传播到位于从刷新边界BD开始的三个像素外侧的半像素和四分之一像素。在刷新线RL中，错误所传播的那些像素被称为“错误传播像素”。这样，当在编码过程中对每个编码线设置运动向量搜索范围时，存在一种可能，即，在解码期间参考错误传播像素，由此导致错误传播到返回线AR。这是第一种错误传播原因。

在H.264/AVC中，帧内预测编码用于帧内编码。第二种错误传播原因是由于帧内预测编码。

在帧内预测编码中，参考与待编码的I宏块临近并且位于其上侧、左侧或两侧的像素。当I宏块被设置成其上侧或左侧与刷新边界BD临近，则参考未返回线UR，并且因此错误传播。这是第二种错误传播原因。

在H.264/AVC中，使用去块滤波器以抑制由去块导致的噪声。第三帧错误传播原因是由于去块滤波器。

去块滤波器通过一次参考两个临近像素(即，四个像素)来执行去块滤波处理。这样，如图8A到8C所示，在刷新线RL中，错误在从刷新边界BD开始的两个像素中传播。这是第三种错误传播原因。

第一到第三传播防止系统适合于消除第一到第三种错误传播原因，并且还适于防止错误传播。

[1-5.第一传播防止系统]

[1-5-1.第一错误传播原因的消除]

视频编码器4设置搜索范围，使得无错误传播发生，由此消除第一种错误传播原因。

在编码线单元是一个宏块线的情况下，当具有16×16像素的搜索块即使在y方向上移动了四分之一像素时，该搜索块也不适合于刷新线RL，因此参考未返回线UR。在这种情况下，搜索范围设置部分16仅在x方向上设置运动向量搜索范围。

更具体地说，搜索范围设置部分16基于画面头来检查编码线单元中的宏块线的数量。当编码线单元是一个宏块线时，搜索范围设置部分16将y方向的运动向量MVy设置为0，并将x方向的搜索范围设置为“无限制”值(即，规格中x方向上允许的最大值)，并向运动预测器/补偿器14提供与搜索范围对应并且待参考的块。运动预测器/补偿器14以整数精度来检测搜索范围中的运动向量，并将检测到的运动向量提供给搜索范围设置部分16。

接下来，关于以整数精度检测的运动向量的周围像素，搜索范围设置部分16通过使用例如6抽头FIR滤波器仅在x方向上产生半像素和四分之一像素，并将产生的半像素和四分之一像素提供给运动预测器/补偿器14。运动预测器/补偿器14以四分之一像素的精度在x方向检测运动向量。

利用该设置，视频编码器4从搜索范围中将y方向上的半像素和四分之一像素排除，因此能够实现不包含与刷新边界BD临近并对应于两个像素的半像素和四分之一像素的处理。结果，视频编码器4允许在不参考错误传播像素的情况下执行解码。这样，可以防止在返回线AR中的错误传播，并且还可以消除第一种错误传播原因。

当编码线单元具有两个或多个宏块线时，搜索范围设置部分16设置运动向量搜索范围，使得在解码过程中不参考错误传播像素。

视频编码器4对画面上的刷新线RL的位置进行变化，使得刷新线RL向下移动，由此执行从错误的恢复。这样，在刷新线RL中，错误传播像素仅发生在与未返回线UR临近的下侧。因此，关于刷新线RL中的下侧，视频编码器4设置搜索范围，使得不参考错误传播像素。

更具体地说，搜索范围设置部分16在编码线单元的范围内设置搜索范围，并将与设置的搜索范围对应的视频提供给运动预测器/补偿器14。运动预测器/补偿器14以整数精度检测搜索范围内的运动向量，并将检测到的运动向量提供给搜索范围设置部分16。

关于以整数精度检测的运动向量的周围像素，搜索范围设置部分16例如使用6抽头FIR滤波器来产生半像素和四分之一像素。在这种情况下，关于从刷新边界BD开始的三个像素外侧的区域，搜索范围设置部分16产生待参考的块，使得在y方向上不产生半像素或四分之一像素，并将产生的块提供给运动预测器/补偿器14。

原理上，运动预测器/补偿器14可以以四分之一像素的精度来检测x和y方向上的运动向量。由于在y方向上关于从刷新边界BD开始的三个像素外侧的区域不存在半像素或四分之一像素，所以运动预测器/补偿器14以整数像素的精度来检测运动向量。

这样，视频编码器4能够防止解码过程中参考从刷新边界BD开始的三个像素外侧的半像素和四分之一像素，并且还能够防止由于参考错误传播像素而产生的错误。

如上所述，视频编码器4被改变，使其在运动向量的检测过程中不参考与错误传播像素(即，从刷新边界BD开始的三个像素外侧的半像素和四分之一像素)对应的像素。利用该设置，视频解码器32能够在不参考错误传播像素的情况下对帧间编码的返回线AR进行解码。这样，可以放置错误传播，并可以消除第一种错误传播原因。

[1-5-2.消除第二种错误传播原因]

当视频编码器4被改变，使得其在刷新线RL的帧内预测编码期间不参考除了刷新线RL之外的像素时，可以防止错误从未返回线UR传播。

在H.264/AVC中，在帧内预测编码期间，不参考另一个片段中的像素。换句话说，刷新线RL被置于片段的前端，并且在不参考未返回线UR的情况下执行帧内编码。利用该设置，由于视频解码器32可以对刷新线RL解码而不参考未返回线UR，所以可以防止错误传播。

更具体地说，画面头具有标记，该标记指示刷新线RL的前端是否要被置于相应片段的前端。画面头生成器9(参见图3)将标记设置成“真”。帧内宏块确定部分10确定待处理的宏块是待帧内编码的I宏块还是待帧间编码的P宏块。

帧内宏块确定部分10确定与针对每个线变化的刷新线RL对应的宏块被设置成强制帧内宏块，要对其进行强制性帧内编码。属于刷新线RL的宏块在下文中被称为“刷新宏块”。由除刷新线RL中的宏块之外的宏块构成的线被称为帧间宏块线。

另一方面，帧内宏块确定部分10确定除刷新线RL中的宏块之外的宏块(即，属于帧间宏块线的宏块)是否要被帧内编码成I宏块或要被前向帧间编码成P宏块。

帧内宏块确定部分10预测为I宏块和P宏块产生的编码量，并确定编码效率高的编码系统。将确定结果提供给片段分割确定部分11。

当指示刷新线RL的前端要被置于片段的前端的标记为“真”时，当前宏块为强制帧内宏块，并且刷新线RL位于前端，片段分割确定部分11确定要执行片段分割。

当预先确定将画面分割成多个片段时，片段分割确定部分11确定要根据待处理的宏块的位置来执行片段分割。将确定结果提供给片段头生成器12。

片段头生成器12产生片段头，并将片段头添加到当前宏块的前端以产生新的片段。关于片段中位于前端的宏块，帧内预测器15例如通过参考中间像素值(像素值0到255中的“128”)而不参考帧间宏块线来执行帧内编码。

利用该设置，视频编码器4能够将刷新线RL的前端放置到片段的前端。这样，由于视频解码器32能够对刷新线RL进行解码而不参考未返回线UR，因此可以防止错误传播。

如上所述，通过将刷新线RL放置在片段的前端，视频编码器4不参考刷新线RL中的帧间宏块线。这样，由于视频解码器32能够对刷新线RL进行解码而不参考未返回线UR，因此可以防止错误传播，并消除第二种错误传播原因。

在H.264/AVC中，准备了标记constrained_intra_pred_flag。将该标记设置成“1”使得可以指定在帧内编码期间不参考帧间编码像素。然而，当该标记被设置成“1”时，即使在除了强制帧内宏块之外的I宏块中也不参考帧间编码像素。因此这种安排具有降低编码效率的缺点。

更具体地说，视频编码器4中的画面头生成器9将画面头中的PPS(画面参数设置)中的constrained_intra_pred_flag设置成“1”。设置成“1”的标记指示在帧内编码期间不参考帧间编码像素。

当检查到constrained_intra_pred_flag是“1”时，帧内预测器15通过仅参考帧内编码像素来执行帧内预测处理。结果，由于视频解码器32能够通过仅参考帧内编码像素来对视频数据S4进行解码，因此可以防止错误从未返回线UR传播。

如上所述，通过将constrained_intra_pred_flag设置为“1”，视频编码器4能够防止错误从未返回线UR的传播，并能够消除第二种错误传播原因。

[1-5-3.消除第三种错误传播原因]

如上所述，当使用去块滤波器时，未返回线UR中的像素在刷新线RL的解码期间影响从刷新边界BD开始的两个像素(以下称为“边界像素”)。从而，边界像素被打断。因此，视频编码器4不采用去块滤波器。

更具体地说，视频编码器4中的片段头生成器12将disable_deblocking_filter_idc设置为“1”。去块滤波器26检查disable_deblocking_filter_idc，当该标记被设置成“1”时，去块滤波器26不对相应片段执行去块滤波器处理。

因此，由于视频解码器32能够对刷新线RL进行解码而不对刷新线RL执行去块滤波器处理，因此可以防止错误传播。

如上所述，由于视频编码器4不采用去块滤波器，因此可以防止对未返回线UR中的像素的影响破坏刷新线RL中的边界像素，并且还可以消除第三种错误传播原因。

[1-6.第二传播防止系统]

在第二传播防止系统中，执行去块滤波器处理以提高传播防止比特流S6b的图像质量。

[1-6-1.消除第三种错误传播原因]

[1-6-1-1.刷新线的重叠出现]

如上所述，当执行去块滤波其处理时，由从刷新边界BD开始的两个像素构成的边界像素被未返回线UR所影响并且因此被破坏。在本实施例中，disable_deblocking_filter_idc被设置为“2”。设置为“2”的标记指示不对片段边界进行去块滤波器处理。也就是说，当该标记被是指为“2”时，视频编码器4能够对除片段边缘之外的区域执行去块滤波器处理，这使得可以降低由去块引起的噪声。

如图9A所示，在第二传播防止系统中，视频编码器4利用多个宏块线构成刷新线RL，并将刷新线RL的前端分割成多个片段。在这种情况下，在位于刷新线RL最下部的刷新边界BD处的宏块线(以下将该宏块线称为“边界MB线RLb”)由于去块滤波器处理的原因而被未返回线UR所影响。

但是，除边界MB线RLb之外的宏块线能够被正常返回而不受未返回线UR的影响。在该图中，由于未返回线UR的影响而被打断的像素由一条线围绕，以便于说明。

如图9B和9C所示，视频编码器4改变刷新线RL的位置，同时导致刷新线RL与至少一个宏块线重叠，使得在先前画面中的边界MB线RLb在下一画面中再次变成刷新线RL。也就是说，帧内宏块确定部分10使得具有两个或更多个块线的刷新线RL展现为针对每个画面有一个宏块线被下移。

利用该设置，虽然在先前的画面中，边界MB线RLb由于去块滤波器处理而被破坏，但是视频编码器4能够在下一画面中返回边界MB线RLb。

[1-6-2.片段分割]

在第一传播防止系统的情况下改变位置的片段边界在下文中被称为“片段边界BLmove”。现在，注意到对除了片段边界BLmove之外的区域执行去块滤波器处理的情况。在图9A到9C中，由左侧的“○”和“×”指示当不考虑去块滤波器处理的影响时从错误恢复的成功与失败，由右侧的“○”和“×”指示当考虑去块滤波器处理的影响时解码(从错误恢复)的成功与失败。

如图9A所示，通过帧内预测处理毫无问题地对刷新线RL进行了解码。但是，在边界MB线RLb中，临近像素由于去块滤波其处理而被破坏。如图9A和9B所示，当执行去块滤波器处理时，参考被破坏的临近像素，因此错误传播。这使得难以从错误恢复。

第二传播防止系统中的视频编码器4将片段边界固定为片段边界BLfix。

如图10A中所示，刷新线RL通过帧内预测处理而毫无问题地被解码。但是，在边界MB线RLb中，边界像素由于去块滤波器处理而被破坏。

如图10B所示，由于片段边界BLfix不移动，所以片段中的前端变为返回线AR1。通过参考刷新线RL和在边界MB线RLb中无错误传播的范围来毫无问题地对返回线AR1进行解码。由于返回线AR1位于片段边界BLfix，所以在返回线AR1和未返回线UR之间的边界上不执行去块滤波器处理。因此，关于返回线AR1，可以从错误恢复而不破坏边界像素。如图10C所示，相同方式应用于下一画面，并且在下一画面中不传播错误。

在第二实施例中，由于错误恢复在刷新线RL被放置在片段中的前端之后启动，所以错误恢复要用2T-1的时间，因此所花的时间比第一实施例中花费的时间稍微多。

[1-6-3.消除第二种错误传播原因]

如上所述，第二实施例中的视频编码器4未将刷新线RL的前端置于片段的前端。但是，由于片段边界BLfix被固定(如图10A到10C所示)，片段边界BLfix和刷新线RL之间的帧间编码线返回。

也就是说，可能要被刷新线RL参考的帧间编码线已经返回，因此，即使当帧间编码线被用作待参考的块时也不会出现特别的问题。

[1-6-4.消除第一种错误传播原因]

在这种情况下，根据视频编码器4，在边界MB线RLb中，仅与未返回线UR临近的两个边界像素由于去块滤波器处理而被破坏。因此，除了先前画面中的编码线单元之外，视频编码器4设置包括在边界MB线RLb中而未受未返回线UR影响的像素作为运动向量搜索范围。

如图11所示，在边界MB线RLb中，边界像素由于返回线UR的影响而被破坏。这样，因为返回线UR的影响，参考边界像素而产生的半像素和四分之一像素变为错误传播的错误传播像素。因此，视频编码器4设置排除边界像素和错误传播像素的区域为运动向量搜索范围。

也就是说，如图12A所示，关于待处理的下一画面的编码线单元(图12B中示出)，视频编码器4中的搜索范围设置部分16设置先前画面中的相应编码线单元(排除上侧的错误传播像素)作为y方向搜索范围。搜索范围设置部分16还设置先前画面中直接位于相应编码线单元下方的编码线单元的部分作为运动向量的y方向搜索范围。编码线单元的该部分是排除上侧的错误传播像素、边界像素以及下侧的错误传播像素的范围。

如上所述，在第二传播防止系统中，视频编码器4适于在解码过程中防止错误传播，同时通过执行去块滤波器处理而改进图像质量。

[1-7.第三传播防止系统]

如图13所示，在第三传播防止系统中，画面被分割成多个编码块单元，并且针对每个编码块单元确定强制帧内宏块。即，在本实施例中，针对每个刷新块RL-B而不是针对每个刷新线RL来执行错误恢复。

刷新块RL-B由任意数量的宏块构成。即，刷新宏块RL-B可以由多个宏块构成，例如，4×4个宏块或8×8个宏块，或者可以由单个宏块构成。

在第三传播防止系统中，针对其中设置了编码块单元的每行形成片段。预定数量的刷新块RL-B出现在片段中。这样，在本实施例中，每个片段的编码量可以是恒定的。这种片段在下文中被称为“恒定编码数量片段LT”。

因此，在第三传播防止系统中，在无线传输过程中由于缓存而导致的延时量可以被减小到与恒定编码数量片段LT对应的量。

在第三传播防止系统中，使得刷新块RL-B针对每个编码块单元出现。虽然刷新块RL-B周期性地(即以周期T)出现在每个恒定编码量片段LT中，但是跨越恒定编码量片段LT的刷新块RL-B之间的关系没有一定之规。即，刷新块RL-B随机出现。

一般而言，帧内编码I宏块具有比帧间编码P宏块更高的图像质量。在第一和第二实施例中，由于强制帧内宏块针对每个刷新线RL出现，所以强制帧内宏块和P宏块之间的图像质量的差异变得显著。

在第三传播防止系统中，使得强制帧内宏块针对每个相对小的编码块单元出现，由此可以使I宏块和P宏块之间的图像质量的差异不那么显著，并且还使得可以提高画面的图像质量。

[1-7-1.针对每个宏块的刷新]

以刷新块RL-B由单个宏块构成的情况来给出本实施例的描述。

如图14所示，视频编码器4针对每个宏块单元形成恒定编码量片段LT，并使得刷新块RL-B针对每个宏块出现。

[1-7-2.消除第一种错误传播原因]

视频编码器4的搜索范围设置部分16在x方向和y方向将搜索范围设置为“0”。即，运动预测器/补偿器14不执行运动向量检测，使得运动向量为“0”。

[1-7-3.消除第二种错误传播原因]

如在第一实施例的情况下，视频编码器4将刷新块RL-B置于片段的前端，由此防止在帧内预测处理中错误从未返回宏块UM传播。

当刷新块RL-B位于画面的左边缘时，片段分割确定部分11在同一的宏块线的中间(例如，紧接刷新块RL-B之后)进行片段分割。利用该设置，片段分割确定部分11能够利用两个片段来恒定地构成恒定编码量片段LT。

[1-7-4.消除第三种错误传播原因]

片段头生成器12将disable_deblocking_filter_idc设置成“1”，以产生片段头。在检查该标记时，去块滤波器26不执行去块滤波器处理。

如上所述，在第三传播防止系统中，视频编码器4适合于在解码过程中防止错误传播，同时通过使得强制帧内宏块针对每个宏块单元出现来提高图像质量。

[1-8.检测错误]

[1-8-1.由于丢包(packet loss)导致的模式切换]

视频处理装置1中的收发器6以包的形式将比特流S6发送给显示装置30中的收发器31。在接收包时，收发器31基于添加到包的标识符(ID)来识别出未接收到的包。收发器31向收发器6发出请求，以重发未接收到的包。当即使在重发请求重复发送了预定次数的情况下还没有接收到未接收到的包时，收发器31将指示错误的上行信息UL发送给收发器6，如图15所示。

另外，在接收包时，收发器31还验证包的有效性。当包无效时，收发器31向收发器6发送指示错误的上行信息UL。

在该情况下，收发器31不能识别比特流S6中的错误的位置。这样，收发器31向收发器6提供上行信息UL，在该上行信息UL中，指示错误的错误标记被设置成“真”

收发器6将上行信息UL提供给视频编码器4中的编码模式切换部分29。在基于上行信息UL识别出检测到由丢包导致的错误时，编码模式切换部分29将编码模式从正常编码模式转换成传播防止编码模式。在这种情况下，编码模式转换部分29对画面的整个区域执行传播防止编码模式。对画面的整个区域执行的传播防止编码模式在下文中称为“全区域传播防止模式”。

当在帧内宏块出现在画面的整个区域的恢复周期TA中执行编码时，编码模式切换部分29识别出从错误的恢复完成，并将编码模式转换为正常编码模式。

如在上述方式中，当检测到由于丢包导致的错误时，视频处理系统100适合于在恢复周期TA期间进入全区域传播防止模式，直到完成从错误的恢复。在第一和第三错误传播防止系统中，恢复周期TA等于周期T，在第二错误传播防止系统中，恢复周期TA被表示为2ד周期T”-1。

[1-8-2.由于数据中的部分错误导致的模式转换]

在由收发器31执行丢包检测的过程中，可能存在无法检测的错误。因此，显示装置30使用错误检测器43(图4)来对通过收发器31不能检测到的错误进行检测。

如上所述，视频检测器32根据CAVLC系统或CABAC系统来对比特流S6进行解码。在CAVLC系统中，通过与表的数据对比来对数据进行解码。这样，能够通过检测少解组合或不太可能的组合(即，检测语法错误)来检测错误。

但是，由于在CABAC系统中使用算术编码，所以存在在有未被检测出错误的情形下继续进行处理的情况。这样，根据视频处理系统100，在视频编码器4和视频解码器32之间预先确定规则，使得在检测到偏离该规则的值时识别出错误发生。

更具体地说，在编码过程中，视频编码器4限制使用在H.264/AVC标准中指定的值中似乎很少使用的值，并且不使用该值执行编码。在检测受限值时，错误检测器43识别出错误发生。

例如，视频编码器4限制运动向量的最大值，限制用于运动补偿的块的尺寸的最小值，限制宏块之间的量化参数QP的差值的最大值(量Δ)，限制允许宏块模式(用于I画面、P画面等)的范围，或者限制允许帧内预测中的方向的范围。可以仅执行这些限制中的一种，或者可以使用这些限制的组合。

因此，错误检测器43根据错误检测程序来执行错误检测处理。错误检测器43监视可逆解码部分42。在检测语法的不一致性或在检测由于限制而不应该使用的值时，错误检测器43识别出错误发生。

在这种情况下，如图16所示，错误检测器43将错误位置信息UP发送到收发器31。收发器31将指示错误的错误标记设置为“真”，并向收发器6提供添加有错误位置信息UP的上行信息UL。

收发器6将上行信息UL提供给视频编码器4中的编码模式切换部分29。由于在上行信息UL中添加了错误位置信息UP，所以编码模式切换部分29识别出检测到由于部分数据错误而导致的错误。

基于错误位置信息UP，编码模式切换部分29识别错误能够传播的错误传播范围。下面将举例说明一个画面被分割成四个片段的情况(如图17A到17C所示)。

如上所述，在帧内预测处理中，不参考另一个片段上的像素。这样，由于帧内预测处理而导致的错误能够在包含在片段中的宏块的整个区域传播并在时间上相继地处理。

在正常编码模式中，在运动补偿/预测处理中预先确定运动向量参考范围。这样，在错误出现的画面的下一个画面中，错误能够传播到运动向量参考范围。此外，在错误出现的画面的下一个画面之后的画面中，关于在错误出现的画面的下一个画面的参考范围的错误能够传播到参考范围。即，画面越靠后，有错误传播的错误传播范围AI变得越大。

基于所提供的包的状态，编码模式切换部分29定位待编码的视频数据S4中的每个画面的位置，并识别画面中的错误传播范围AI(参见图17B)。

编码模式切换部分29识别包括错误传播范围AI的片段(在所示的示例中为两个片段)作为错误传播片段SE，并以传播防止编码模式对错误传播片段SE执行编码。关于除了错误传播片段SE之外的片段，执行正常编码模式的编码。以上述方式对画面中的部分区域执行的传播防止编码模式在下文中被称为“部分区域传播防止模式”。

编码模式切换部分29在错误恢复已完成的错误片段恢复周期TEN中以部分区域传播防止模式对错误传播片段SE执行编码。当一个画面被分割成四个片段时，针对第一和第三错误传播防止系统中的每个错误传播片段SE的片段恢复周期TE由“周期T”×1/4给出，并且，针对第二传播防止系统中的每个错误传播片段SE的片段恢复周期TE由(2ד周期T”-1)×1/4给出。

编码模式切换部分29在错误片段恢复周期TEN中以部分区域传播防止模式来执行编码，其中，通过将片段恢复周期TE乘以错误传播片段SE的数量“N”来给出错误片段恢复周期TEN。利用该设置，以部分区域传播防止模式，编码模式切换部分29与全区域传播防止模式相比可以减小从错误的恢复完成的周期。

也就是说，如图18所示，在正常操作过程中，视频编码器4以正常编码模式执行编码，并经由收发器6和收发器31将正常编码的比特流6a提供给视频解码器32。当从数据检测到错误时，视频解码器32将错误位置信息UP提供给收发器31。

收发器31产生包括错误位置信息UP的上行信息UL，并经由收发器6将产生的上行信息UL提供给视频编码器4。视频编码器4识别错误传播范围AI，在错误传播范围AI中，错误传播到待处理以及待编码的块。然后视频编码器4进入部分区域传播防止模式，以便关于包括识别的错误传播范围AI的范围将编码模式切换为传播防止编码模式，以及关于不包括错误传播范围AI的范围将编码模式转换成正常编码模式。

然后编码模式切换部分29在错误片段恢复周期TEN中执行部分区域传播防止模式，以产生传播防止编码流S6b，并经由收发器6和收发器31将该传播防止编码流S6b提供给视频解码器32。然后视频编码器4进入正常编码模式，以返回到正常编码处理，并经由收发器6和收发器31将正常编码比特流6a提供给视频解码器32。

利用该设置，视频编码器4足以部分地执行传播防止编码模式，由此使得可以减小画面中待刷新的范围，并使得可以减少用于错误恢复的时间量。

[1-9.处理流程]

接下来，将参考图19中所示的流程图描述根据编码程序执行的编码处理过程RT1。

当视频编码器4启动编码处理时，处理前进到步骤SP1，在该步骤确定是否接收到上行信息UL。

当获得否定结果(即NO)时，这意味着未检测到错误，并将保持正常编码模式。在这种情况下，视频编码器4的处理前进到步骤SP5。

另一方面，当在步骤SP1中获得肯定结果(即YES)时，可能检测到错误并且视频编码器4的处理前进到步骤SP2。在步骤SP2中，视频编码器4确定错误标记是否指示“真”。

当在步骤SP2中获得否定结果时，这意味着未检测到错误并将保持正常编码模式。在这种情况下，视频编码器4的处理前进到步骤SP5。

在步骤SP5中，视频编码器4保持正常编码模式或进入正常编码模式。当视频编码器4以正常编码模式执行编码处理时，处理前进到步骤SP9。

另一方面，当在步骤SP2中获得肯定结果时，这意味着检测到错误，并且视频编码器4的处理前进到步骤SP3。在步骤SP3中，视频编码器4确定是否存在错误位置信息UP。

当在步骤SP3中获得否定结果时，这意味着所检测到的错误是由于丢包，并且错误发生的位置无法识别。在这种情况下，视频编码器4的处理前进到步骤SP7。

在步骤SP7中，视频编码器4将编码模式切换为全区域传播防止模式。当视频编码器4以传播防止编码模式执行编码时，处理前进到步骤SP8。

在步骤SP8中，视频编码器4确定恢复周期TA是否结束。当在步骤SP8中获得否定结果时，处理返回到步骤SP7，并且视频编码器4继续以传播防止编码模式执行编码处理，直到恢复周期TA结束为止。

另一方面，当在步骤SP8中获得肯定结果时，视频编码器4的处理前进到步骤SP9。

当在步骤SP3中获得肯定结果时，这意味着所检测到的错误是从数据检测到的错误，而错误发生的位置是可识别的。在这种情况下，视频编码器4的处理前进到步骤SP6。

在步骤SP6中，视频编码器4前进到代表部分区域传播防止模式的处理过程的子流程SRT11中的步骤SP11。在步骤SP11中，视频编码器4确定待处理的块是否属于传播防止片段SE。

当在步骤SP11中获得肯定结果时，处理前进到步骤SP12，在步骤SP12中，视频编码器4以传播防止编码模式来执行编码处理。其后，处理前进到步骤SP14。

另一方面，当在步骤SP11中获得否定结果时，处理前进到步骤SP13，在步骤SP13中，视频编码器4以正常编码模式执行编码。其后，处理前进到步骤SP14。

在步骤SP14中，视频编码器4确定错误片段恢复周期TEN是否结束。当在步骤SP14中获得否定结果时，处理返回到步骤SP11，并且视频编码器4以部分区域传播防止编码模式来继续执行编码处理。

另一方面，当在步骤SP14中获得肯定结果时，视频编码器4的处理前进到编码处理过程RT1(图19)中的步骤SP9。

在步骤SP9中，视频编码器4确定对视频数据S4的编码处理是否结束。当获得否定结果时，处理返回到步骤SP1，并且视频编码器4继续执行编码处理过程RT1。另一方面，当在步骤SP9中获得肯定结果时，处理前进到“结束”步骤，其中视频编码器4结束编码处理过程RT1。

上述编码处理可以通过硬件配置来执行，或者可以通过软件来执行。当通过软件来执行该编码处理时，视频编码器4由诸如CPU(中央处理单元)的计算单元虚拟地配置。同样的方式应用于上述由视频解码器32执行的错误检测处理。

[1-10.操作和优点]

利用上述配置，关于所要参考的块(其为所要参考的参考画面中的参考编码单元)，充当视频发送装置的视频处理装置1执行包括临近像素的滤波处理，以产生对应于临近像素的像素(具有次整数精度的像素，其在下文中被称为“相应像素”)。视频处理装置1针对所要参考的块设置搜索范围，在设置的搜索范围中检测针对通过去块滤波器26获得的局部解码图像L4的运动向量，然后执行运动预测处理。

视频处理装置1设置去块滤波设置信息，该信息指示是否要应用去块滤波器处理或者是否要将去块滤波处理应用到刷新边界BD(其为边界线)。根据去块滤波器设置信息，视频处理装置1对要处理的编码块(其为编码单元)的局部编码图像L3执行去块滤波器处理。

视频处理装置1向充当视频接收装置的显示装置30发送经历了运动预测处理的比特流S6。视频处理装置1从显示装置30接收上行信息UL，在上行信息UL中，错误标记被设置(即为“真”)为指示检测到错误的错误信息。

在正常操作过程中，视频处理装置1选择正常编码模式作为编码模式，并且还在接收错误标记被设置的上行信息UL时对强制帧内块执行帧内编码。在这种情况下，视频处理装置1选择传播防止编码模式作为编码模式。在传播防止编码模式中，视频处理装置1针对要参考的块设置搜索范围，使得搜索范围不包括来自于充当强制帧内块与其它块之间的边界的刷新边界BD的次整数精度的相应像素，该相应像素对应于临近像素的数量。通过改变去块滤波器设置信息，视频处理装置1对去块滤波处理设置限制。

利用该设置，在未检测到错误的正常操作期间，视频处理装置1能够以正常编码模式执行编码处理。这样，可以提高比特流的编码效率，并且还可以相同通信速度下提高比特流的图像质量。

当恢复周期TA或错误片段恢复周期TEN(其为用于错误恢复的错误恢复周期)结束时，视频处理装置1将编码模式切换成正常编码模式。

利用该设置，紧接在从错误恢复之后，视频处理装置1能够进入图像质量令人满意的正常编码模式。这样，可以使视频处理装置1进入错误传播防止模式所花的时间最小化，并且可以使再现的图像数据S14的图像质量最佳化。

在正常编码模式中，视频处理装置1执行仅包括前向预测编码(对于P宏块)的编码。

利用该设置，视频处理装置1提高了正常编码模式下的编码效率，因此使得可以提高比特流S6的图像质量。

当比特流S6中的错误的位置能够被定位时，视频处理装置1将传播防止编码模式应用于错误传播防止区域(即，错误传播片段SE)，该区域包括错误能够在其中传播的错误传播范围AI。

利用该设置，视频处理装置1能够减小传播防止编码模式所应用的范围，并能够减少到错误恢复完成所花的时间量。

视频处理装置1基于被添加到上行信息UL中并指示错误位置的错误位置信息UP来识别错误传播片段SE。这样，基于错误位置，视频处理装置1能够将传播防止编码模式应用到有利于视频处理装置1的错误传播防止区域。

视频处理装置1针对每个预定片段切换编码模式。利用该设置，由于视频处理装置1仅对预定片段执行片段分割，所以可以实现编码处理而不会不必要地对片段进行分割并且不会导致由于片段分割而产生的不希望的编码效率下降。

当比特流S6中的错误位置不可识别时，视频处理装置1进入全区域传播防止模式，并将传播防止编码模式应用到画面的整个区域。

利用该设置，即使在不存在错误位置信息UP以及错误位置不可识别时，视频处理装置1也能够进入传播防止编码模式以从错误恢复。

视频处理装置1根据视频处理装置1和充当视频接收装置的显示装置30之间的通信速率来选择第一到第三传播防止系统之一作为传播防止编码模式。

利用该设置，由于视频处理装置1能够选择与通信速率对应的合适的传播防止系统，所以即使在视频处理装置1进入传播防止模式时也能够使要重现的视频数据S14中的图像质量的降低最小化。

视频处理装置1中的视频编码器4接收视频数据S4，并通过帧内编码和前向帧间编码对视频数据S4进行编码。在这种情况下，视频编码器4将宏块(其为编码单元)分配给强制帧内块或除了强制帧内块之外的块(帧间块)，使得在画面中的所有宏块以恒定周期T变成待帧内编码的强制帧内块。

利用该设置，视频编码器4能够在与周期T或错误片段恢复周期TEN对应的恢复周期TA器件可靠地使视频数据S4从错误恢复。

显示装置30接收比特流S6，比特流S6通过对包括多个画面的视频数据S4进行编码而获得，并从视频处理装置1发送，并且，显示装置30对比特流S6进行可逆解码。

在检测到偏离利用视频处理装置1预定的规则的值时，显示装置30识别出错误发生，并且因此从可逆解码的比特流S6(即，量化系数D3中的宏块数据)检测错误。在检测错误时，显示装置30将指示检测到错误的位置的错误位置信息UP添加到上行信息UL，指示检测到错误，并将产生的上行信息UL发送给视频处理装置1。

偏离预定规则的值可以是具有低使用频率的值。这样，视频处理系统100限制不偏离标准以及对图像质量影响较小的值的使用。因此，视频处理系统100能够最小化对图像质量的影响，由于在不偏离标准的范围中提供规则而导致的影响。

显示装置30根据CABAC系统对比特流S6执行可逆解码。这样，显示装置30能够通过将偏离预定规则的值识别为错误来适当地检测甚至是在可逆解码过程中无法检测的错误。

显示装置30检测比特流S6中的丢包。响应于丢包，显示装置30向视频处理装置1发送指示检测到错误的上行信息UL。利用该设置，在检测丢包时，显示装置30能够将上行信息UL快速提供给视频处理装置1。结果，视频处理装置1能够快速进入传播防止编码模式，由此使得可以更早地从视频数据S14中的错误恢复。

更具体地，在启动通信期间，视频处理装置1通过向/从显示装置30发送/接收数据来确定通信速率。当通信速率较低时，视频处理装置1选择第一传播防止系统。当通信速率大致中等时，视频处理装置1选择第二传播防止系统，其相对于第一传播防止系统来说能够提高图像质量。当通信速率较高时，视频处理装置1选择第三传播防止系统，其提供比第一和第二传播防止系统更加令人满意的图像质量。

利用该设置，视频处理装置1能够选择以允许的通信速率提供最令人满意的图像质量的传播防止系统，并且因此当视频处理装置1进入传播防止编码模式时能够提高视频数据S14的图像质量。

根据上述配置，当在检查错误存在/不存在的错误识别步骤中以及在错误检测步骤中识别出无错误发生时，视频处理装置1进入正常编码模式，而当在错误检测步骤中识别出错误发生时，视频处理装置1进入传播防止编码模式。

在进入正常编码模式时，视频处理装置1通过关于参考画面中的所要参考的块执行包括临近像素的滤波处理来产生对应于临近像素的次整数精度的像素，并针对所要参考的块设置搜索范围。视频处理装置1在设置的搜索范围中针对通过去块滤波器获得的局部解码图像来检测运动向量，并执行运动预测处理。视频处理装置1设置去块滤波器设置信息，该信息指示是否要应用去块滤波器处理或者是否将去块滤波器处理应用到边界线。根据去块滤波设置信息，视频处理装置1对通过运动预测处理来编码以及待处理的块中的局部解码图像L3执行去块滤波器处理。

在进入错误传播防止模式时，视频处理装置1对强制帧内块执行帧内编码，并通过关于参考画面中的要参考的块执行包括临近像素的滤波处理而产生对应于临近像素的次整数精度的像素。视频处理装置1针对要参考的块设置搜索范围，使得搜索范围不包括来自于充当强制帧内块与其它块之间的边界的边界线BL的相应像素，该相应像素对应于临近像素的数量。然后视频处理装置检测设置的搜索范围中的运动向量并执行运动预测处理。视频处理装置1通过改变去块滤波器设置信息对去块滤波器处理设置限制，并且根据改变的去块滤波器设置信息，视频处理装置1对通过运动预测处理编码的并且待处理的块的局部解码图像L3执行去块滤波处理。

然后视频处理装置1向视频接收装置发送经过运动预测处理的比特流。

利用该设置，视频处理系统100甚至能够防止具有许多错误传播原因的编码系统(如H.264/AVC系统)中的错误的传播，并能够使视频数据S14快速地从错误中恢复。此外，视频处理系统100仅在检测到错误时才进入传播防止编码模式。这样，视频处理系统100能够最小化传播防止编码模式的使用频率，在该传播防止编码模式中，由于执行使用大量编码的帧内编码，所以图像质量有可能下降，并且视频处理系统100能够提高视频数据S14的图像质量。因此，本发明能够实现能够提高图像质量的视频发送装置、视频发送方法、视频接收装置和视频接收方法。

<2.其它实施例>

第一实施例中的描述已经给出了以下情况：视频处理装置1基于从显示装置30提供的错误位置信息UP来识别错误传播范围AI。本发明不限于这种设置。例如，设置可以使得显示装置30向视频处理装置1发送添加有指示错误传播范围AI的错误传播信息的错误信息，并且视频处理装置1根据指示错误传播范围AI的错误传播信息来识别错误传播防止区域。

上述实施例中的描述给出了以下情况，从第一到第三传播防止系统中选择的传播防止系统用于执行编码的传播防止编码模式。本发明不限于该设置。例如，可以恒定地执行一种传播防止系统作为传播防止编码模式，或者可以从两种传播防止系统或者四种或更多的传播防止系统中选择传播防止系统。可以根据除了通信速率之外的因素来确定传播防止编码系统。

上述实施例中的描述给出了以下情况，其中在错误恢复周期(即，恢复周期TA或错误片段恢复周期TEN)结束时，编码模式切换为正常编码模式。本发明不限于这种设置，并且编码模式可以在任何时候切换为正常编码模式。

另外，在上述实施例中描述了在正常编码模式中仅执行帧间编码的情况。本发明不仅限于这种设置，帧间编码和帧内编码均可以执行。例如，在正常编码模式中，可以执行对运动向量搜索范围和去块滤波处理不设限制的帧内编码系统，而在传播防止编码模式中，与上述实施例中的限制相似的限制可以被施加于运动向量搜索范围和去块滤波处理。

此外，上述实施例中的描述给出了以下情况，针对每个片段执行正常编码模式和传播防止编码模式之间的切换。本发明不限于这种设置，并且可在任何时候进行切换。例如，可以针对沿错误传播范围AI的每个宏块执行切换。

此外，上述实施例中的描述给出了以下情况，在检测到偏离预定规则的值时检测到错误。本发明不限于这种设置，并且例如还可以应用到以下情况，当检测出由于丢包或CAVLC产生的错误时检测到错误。

可以对传播编码系统进行各种改变。例如，当针对运动预测处理改变用于产生次整数精度的像素的方法(即，用于排除错误传播像素的方法)时，或者当运动向量搜索块的尺寸为16×8、8×8、8×4、4×8或4×4像素时，可以通过与当编码线单元的数量是两个或更多个时所使用的处理类似的处理来检测y方向的运动向量。滤波器抽头的数量没有限制，并且，例如可以参考一个临近像素或者三个或更多个临近像素。相同方式应用于去块滤波器，因此待参考的像素的数量没有限制。

在去块滤波处理过程中，不仅可以使用disable_deblocking_filter_idc还可以使用用于限制的任何方法。

此外，设置可以使得多个刷新线RL出现在一个画面中。相同方式应用于刷新块RL_B，因此多个刷新块RL_B可以出现在一个片段中。针对由多个宏块线构成的每个恒定编码数量线，可以出现由多个×多个宏块构成的刷新块RL_B。此外，为了减小延时量，具有恒定量的编码的线可以被设置成子线(sub-line)(例如，1/2线)。

刷新线RL的位置可以改变以使得其向上移动。可替选地，刷新线RL可以随机出现。刷新块RL_B也可以根据一定的规则在每个画面中出现。此外，在第二传播防止系统中，刷新线RL可以表现为重叠两个或更多宏块线。

此外，编码单元的大小没有限制。除强制帧内块之外的所有块也可以被分配到帧间块。而且，例如，可以对像素值直接编码，并且不必对强制帧内宏块执行帧内预测处理。

此外，上述实施例中的描述给出了以下情况，根据H.264/AVC系统来执行编码处理。本发明不限于这种设置，也可以根据任何编码系统来执行编码处理，在该编码系统中，关于至少临近像素执行具有次整数精度的运动预测处理和去块滤波处理。

此外，上述实施例中的描述给出以下情况，在帧间编码过程中仅参考上一个画面。本发明不限于这种设置，也可以参考前面的画面，例如导数第二个画面。

此外，上述实施例中的描述给出以下情况，本发明应用于充当无线视频数据传输系统的壁挂式电视。本发明不限于这种设置，还可以应用于实时收发并显示视频数据的任何系统。例如，本发明可以应用于通过光缆、电话线等使用因特网的视频会议系统或有线系统。

此外，上述实施例中的描述给出以下情况，IEEE 802.11n系统被用作无线传输系统。本发明不限于这种设置，并且无线传输系统不是限制性的。

此外，上述实施例中的描述给出以下情况，编码程序等被预存储在ROM(只读存储器)、硬盘驱动器等中。本发明不限于这种设置，可以从诸如记忆棒(索尼公司的注册商标)的外部存储介质将编码程序等安装到闪存等中。该设置还可以使得编码程序等经由USB(通用串行总线)、以太网链路或基于IEEE 802.11a/b/g的无线LAN(局域网)等从外部获得，并且进一步经由地面数字电视广播或BS数字电视广播而被分发。

此外，上述实施例中的描述给出以下情况，充当视频发送装置的视频处理装置1包括：搜索范围设置部分16，其充当相应像素产生器和搜索范围设置部分；运动预测器/补偿器14，其充当运动预测器；片段头生成器12，其充当设置部分；去块滤波器26；收发器6，其充当比特流发送器和错误接收器；以及编码模式切换部分29。本发明不限于这种设置。例如，根据本发明的实施例的视频发送装置可以包括具有除上述配置之外的各种配置的相应像素生成器、搜索范围设置部分、设置部分、去块滤波器、比特流发送器、错误接收器、编码模式切换部分。视频发送装置不必包括数字广播接收器2、数字调谐部分3和音频编码器5。

此外，上述实施例中的描述给出以下情况，充当视频接收装置的显示装置30包括：收发器31，其充当比特流接收器和错误发送器；可逆解码部分42；以及错误检测器43。本发明不限于这种设置，根据本发明的实施例的视频接收装置可以包括具有除上述配置之外的各种配置的比特流接收器、可逆编码部分、错误检测器以及错误发送器。视频接收装置不必包括音频解码器34、扬声器35和显示部分33。

本申请包含与2009年9月1日向日本专利局提交的日本优先权专利申请JP 2009-201796中公开的主题相关的主题，其全部内容通过引用合并于此。

本领域工作人员应该理解的是，可以根据设计需要和其它因素来进行各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围之内。

Claims (18)

1.一种视频发送装置，包括：

错误接收器，其从视频接收装置接收指示检测到错误的错误信息，所述视频接收装置用于接收由对包括画面的视频数据进行编码而产生的比特流；

编码模式选择器，其在所述错误接收器接收到所述错误信息时选择传播防止编码模式作为编码模式，其中，在所述传播防止编码模式中，对强制帧内块执行帧内编码；针对参考编码单元设置搜索范围，使得所述搜索范围不包括来自于充当所述强制帧内块和除所述强制帧内块之外的块之间的边界的边界线的相应像素，所述相应像素对应于邻近像素的数量；以及通过去块滤波器设置信息的改变来对进行去块滤波器处理的像素的范围设置限制；以及

编码器，其根据由所述编码模式选择器选择的所述编码模式对所述视频数据进行编码。

2.根据权利要求1所述的视频发送装置，其中，当所述错误接收器没有接收到所述错误信息时，所述编码模式选择器选择正常编码模式作为所述编码模式。

3.根据权利要求1所述的视频发送装置，其中，当用于从所述错误恢复的错误恢复周期结束时，所述编码模式选择器将所述编码模式转换为正常编码模式。

4.根据权利要求3所述的视频发送装置，其中，在所述正常编码模式中，通过仅使用前向预测编码来执行编码。

5.根据权利要求4所述的视频发送装置，其中，当所述比特流中的所述错误的位置可识别时，所述编码模式选择器将所述传播防止编码模式应用到包括错误传播范围的错误传播防止区域，所述错误可能在所述错误传播范围中传播。

6.根据权利要求5所述的视频发送装置，其中，所述编码模式选择器基于被添加到所述错误信息中并指示所述错误的位置的错误位置信息来识别所述错误传播防止区域。

7.根据权利要求5所述的视频发送装置，其中，所述编码模式选择器根据被添加到所述错误信息中并指示所述错误传播范围的错误传播信息来识别所述错误传播防止区域。

8.根据权利要求6所述的视频发送装置，其中，所述编码模式选择器针对每个预定片段来切换所述编码模式。

9.根据权利要求8所述的视频发送装置，其中，当所述比特流中的所述错误的位置不可识别时，所述编码模式选择器将所述传播防止编码模式应用到所述画面的整个区域。

10.根据权利要求9所述的视频发送装置，其中，所述编码模式选择器根据所述视频发送装置和用于接收所述视频数据的所述视频接收装置之间的通信速率来选择用于所述传播防止编码模式的多个传播防止系统之一。

11.根据权利要求10所述的视频发送装置，还包括：

视频数据接收器，用于接收所述视频数据；以及

强制帧内块分配器，其在由所述数据接收器接收的所述视频数据是要通过帧内编码和前向帧间编码来编码时，将编码单元分配给强制帧内块或除强制帧内块之外的块，使得所述画面中的所有编码单元以恒定周期变为强制帧内块。

12.根据权利要求11所述的视频发送装置，其中，所述视频发送装置根据H.264高级视频压缩系统来产生所述比特流。

13.一种视频接收装置，包括：

比特流接收器，其接收从视频发送装置发送的比特流，所述比特流由所述视频发送装置的编码器根据由所述视频发送装置的编码模式选择器选择的编码模式而对包括画面的视频数据进行编码而产生；

可逆解码部分，其对所述比特流执行可逆解码；

错误检测器，其通过在检测到偏离由所述编码器的所述编码预先确定的规则的值时识别出错误存在，来检测通过所述可逆解码部分进行可逆解码的所述比特流中的编码单元的数据中的错误；以及

错误发送器，其在所述错误检测器检测到所述错误时将错误位置信息或错误传播信息添加到指示检测到错误的错误信息中，并将所产生的错误信息发送给所述视频发送装置的错误接收器，所述错误位置信息指示检测到所述错误的位置，并且所述错误传播信息指示错误传播范围，所述错误可能在所述错误传播范围中传播，

其中，所述编码模式选择器在所述错误接收器接收到所述错误信息时选择如下的传播防止编码模式作为所述编码模式：其中，在所述传播防止编码模式中，对强制帧内块执行帧内编码；针对参考编码单元设置搜索范围，使得所述搜索范围不包括来自于充当所述强制帧内块和除所述强制帧内块之外的块之间的边界的边界线的相应像素，所述相应像素对应于邻近像素的数量；以及通过去块滤波器设置信息的改变来对进行去块滤波器处理的像素的范围设置限制。

14.根据权利要求13所述的视频接收装置，其中，偏离所述预定规则的值是具有低使用频率的值。

15.根据权利要求14所述的视频接收装置，其中，所述预定规则用于限制运动向量的最大值、限制用于运动补偿的块尺寸的最小值、限制宏块之间的量化参数的差值的最大值、限制允许宏块模式的范围、或者限制允许帧内预测的方向的范围。

16.根据权利要求15所述的视频接收装置，其中，所述比特流接收器检测所述比特流中的丢包；以及

所述错误发送器响应于所述丢包向所述视频发送装置发送指示检测到错误的错误信息。

17.一种视频发送方法，包括步骤：

从用于接收由对包括画面的视频数据进行编码而产生的比特流的视频接收装置接收指示检测到错误的错误信息；

当在所述错误信息接收步骤中接收到所述错误信息时，选择传播防止编码模式作为编码模式，其中，在所述传播防止编码模式中，对强制帧内块执行帧内编码，针对参考编码单元设置搜索范围，使得所述搜索范围不包括来自于充当所述强制帧内块和除所述强制帧内块之外的块之间的边界的边界线的相应像素，所述相应像素对应于临近像素的数量，并且通过改变去块滤波器设置信息来对进行去块滤波处理的像素的范围设置限制；以及

根据在所述编码模式选择步骤中选择的所述编码模式来对所述视频数据进行编码。

18.一种视频接收方法，包括步骤：

接收由视频发送装置的编码器根据由所述视频发送装置的编码模式选择器选择的编码模式而对包括画面的视频数据进行编码而产生的比特流；

对所述比特流执行可逆解码；

通过在检测到偏离由所述编码器的所述编码预先确定的规则的值时识别出错误存在，来检测在所述可逆解码步骤中被可逆解码的所述比特流中的编码单元的数据中的错误；以及

在所述错误检测器检测到所述错误时，将错误位置信息或错误传播信息添加到指示检测到所述错误的错误信息中，并将所产生的错误信息发送给所述视频发送装置的错误接收器，所述错误位置信息指示检测到所述错误的位置，并且所述错误传播信息指示错误传播范围，所述错误可能在所述错误传播范围中传播，

其中，所述编码模式选择器在所述错误接收器接收到所述错误信息时选择如下的传播防止编码模式作为所述编码模式：其中，在所述传播防止编码模式中，对强制帧内块执行帧内编码；针对参考编码单元设置搜索范围，使得所述搜索范围不包括来自于充当所述强制帧内块和除所述强制帧内块之外的块之间的边界的边界线的相应像素，所述相应像素对应于邻近像素的数量；以及通过去块滤波器设置信息的改变来对进行去块滤波器处理的像素的范围设置限制。

Images