CN101389037A - 一种时空域分割多状态视频编码的方法和装置 - Google Patents

一种时空域分割多状态视频编码的方法和装置 Download PDF

Info

Publication number
CN101389037A
CN101389037A CN 200810168859 CN200810168859A CN101389037A CN 101389037 A CN101389037 A CN 101389037A CN 200810168859 CN200810168859 CN 200810168859 CN 200810168859 A CN200810168859 A CN 200810168859A CN 101389037 A CN101389037 A CN 101389037A
Authority
CN
China
Prior art keywords
error concealment
coding
mse
code stream
opposite field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 200810168859
Other languages
English (en)
Other versions
CN101389037B (zh
Inventor
沈未名
郭晓云
黄晓平
种衍文
万守杰
杨黎东
方广
李伟
宋绘宏
鲁盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HUBEI KECHUANG HI-TECH NET-VIDEO Co Ltd
Original Assignee
HUBEI KECHUANG HI-TECH NET-VIDEO Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HUBEI KECHUANG HI-TECH NET-VIDEO Co Ltd filed Critical HUBEI KECHUANG HI-TECH NET-VIDEO Co Ltd
Priority to CN 200810168859 priority Critical patent/CN101389037B/zh
Publication of CN101389037A publication Critical patent/CN101389037A/zh
Application granted granted Critical
Publication of CN101389037B publication Critical patent/CN101389037B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种时空域分割多状态视频编码的方法,包括:将多媒体码流在时域、空域上划分成多状态编码;对每个子序列单独编码,分别通过信道进行传输;对每个信道所传输的编码分别进行各种差错掩盖模式的预测,并将预测的结果嵌入到编码中发送;对接收到的编码进行解码,按照预测的结果选择出相应的可执行的差错掩盖方式,对错误的码流进行相应的差错掩盖,对进行差错掩盖后的各个码流在时域和空域上合并。本发明公开了一种时空域分割多状态视频编码的装置,本发明的方法和装置可对错误的码流选择多种差错掩盖方式处理,可以恢复出各路出现错误的码流,避免码流的丢失,提高了视频流的质量。

Description

一种时空域分割多状态视频编码的方法和装置
技术领域
本发明涉及多媒体技术领域,特别是指一种时空域分割多状态视频编码的方法和装置。
背景技术
在对传统的视频编码进行处理过程中,采用的视频容错编码技术大多基于单一预测状态进行解码,因此数据的丢失往往导致后续正确接收的码流在解码预测状态重新复位之前完全无法解码,为此提出了多状态编码,将原始视频序列被分为两个子序列:奇帧序列与偶帧序列。两个子序列分别单独编码,作为两个单独的码流通过不同的信道进行传输。如果两个子序列都得以正确接收,解码后的奇偶帧序列将合并为一个整体,即接收端获得一个完整的帧序列。如果某一个子序列的码流出现解码错误,另一个正确接收的子序列码流的解码可以提供一个奇帧序列或者偶帧序列,即接收端获得一个降低帧率后的帧序列。
所划分的两个奇偶帧可采用时域上的分割或空域上的分割,无论是时域上还是空域上,如果一个帧序列出现错误,只能通过Intra帧或者Intra宏块得以实现解码过程中预测状态的恢复,恢复方式单一,且如果没有恢复出来,只能丢弃,造成视频码流的视频效果较差。
发明内容
有鉴于此,本发明在于提供一种时空域分割多状态视频编码的方法和装置,以解决上述视频码流的恢复过程中,恢复方式单一,视频效果较差的问题。
为解决上述问题,本发明提供一种时空域分割多状态视频编码的方法,包括:
将多媒体码流在时域、空域上划分成多状态编码;对每个子序列单独编码,分别通过信道进行传输;对每个信道所传输的编码分别进行各种差错掩盖模式的预测,并将预测的结果嵌入到编码中发送;
对接收到的编码进行解码,按照预测的结果选择出相应的可执行的差错掩盖方式,对错误的码流进行相应的差错掩盖,对进行差错掩盖后的各个码流在时域和空域上合并。
优选的,
所述预测的结果为各种差错掩盖方式的MSE值;
所述嵌入包括:将所述得到的MSE的值从小到大排序,将排序后的各个MSE的值所对应的标识嵌入到编码中;
所述按照预测的结果选择出相应的可执行的差错掩盖方式包括:
选择出所述标识相对应的可执行的差错掩盖方式。
优选的,所述各种差错掩盖模式的预测包括:
基于相邻场平行映射的差错掩盖的性能估计、基于相邻场的分级边沿平均插值的差错掩盖的性能估计、基于相邻帧的最佳邻域匹配的差错掩盖的性能估计、和、基于相邻帧的双向最佳邻域匹配的差错掩盖的性能估计。
优选的,所述基于相邻场平行映射的差错掩盖的性能估计为:利用当前块映射在相邻场奇、或偶场的相同位置的宏块的运动矢量作为预测运动矢量,找到其在前一帧指向的块区域,计算两个块之间的MSE;
所述基于相邻场的分级边沿平均插值的差错掩盖的性能估计为:计算当前块与相邻场的相同位置的宏块BN(相邻场的相同位置的宏块)的绝对差值DIF,计算当前块与BN移动一行所得的宏块BN′的绝对差值DIF′,(对应于每个像素都存在一个DIF与DIF′,在两者中选择最小值作为DIFmin)计算每个像素的DIFmin,得出MSE(MeanSquared Error)即平均平方误差;
所述基于相邻帧的双向最佳邻域匹配的差错掩盖的性能估计为:利用当前块的运动矢量MV1对应的最小匹配残差的MSE作为预测值MSE1,利用当前块映射在前一帧相同场且偏移量为-MV1/2(负号表示是后向运动矢量,当前块运动矢量的一半偏移量)的宏块与当前块之间的MSE作为预测值MSE2,利用当前块映射在后一帧相同场且偏移量为+MV1/2的宏块与当前块之间的MSE作为预测值MSE3,在MSE1、MSE2、MSE3中选择出最小的作为MSE。
优选的,所述对错误的码流进行相应的差错掩盖包括:
基于相邻场平行映射的差错掩盖、基于相邻场的分级边沿平均插值的差错掩盖、基于相邻帧的最佳邻域匹配的差错掩盖、或、基于相邻帧的双向最佳邻域匹配的差错掩盖。
本发明还提供一种时空域分割多状态视频编码的装置,包括:
多状态编码单元,用于将多媒体码流在时域、空域上划分成多状态编码;
编码单元,用于对每个子序列单独编码,分别通过信道进行传输;
预测单元,用于对每个信道所传输的编码分别进行各种差错掩盖模式的预测,并将预测的结果嵌入到编码中发送;
解码单元,用于对接收到的编码进行解码;
差错掩盖单元,用于按照预测的结果选择出相应的可执行的差错掩盖方式,对错误的码流进行相应的差错掩盖,
合并单元,用于对进行差错掩盖后的各个码流在时域和空域上合并。
优选的,
所述预测单元包括:
对每个信道所传输的编码分别进行各种差错掩盖模式得出相应MSE值的预测模块;将预测的结果嵌入到编码中发送的插入模块;
所述预测模块包括:
基于相邻场平行映射的差错掩盖的性能估计的第一子模块、基于相邻场的分级边沿平均插值的差错掩盖的性能估计的第二子模块、基于相邻帧的最佳邻域匹配的差错掩盖的性能估计的第三子模块、和、基于相邻帧的双向最佳邻域匹配的差错掩盖的性能估计的第四子模块;
所述插入模块将预测的结果嵌入到编码中发送的过程包括:将所述得到的MSE的值从小到大排序,将排序后的各个MSE的值所对应的标识嵌入到编码中发送。
优选的,
所述差错掩盖单元包括:按照预测的结果选择出相应的可执行的差错掩盖方式选择模块,对错误的码流进行相应的差错掩盖的恢复模块;
所述选择模块选择出相应的可执行的差错掩盖方式的过程为:选择出所述标识相对应的可执行的差错掩盖方式;
所述恢复模块包括:
基于相邻场平行映射的差错掩盖的第五子模块、基于相邻场的分级边沿平均插值的差错掩盖的第六子模块、基于相邻帧的最佳邻域匹配的差错掩盖的第七子模块、和、基于相邻帧的双向最佳邻域匹配的差错掩盖的第八子模块。
本发明的方法和装置可在时域和空域上将编码划分为多状态编码,并将各个差错掩盖方式的恢复结果嵌入到各个码流中,在码流恢复过程中,按照优先的顺序选择各个差错掩盖方式,选择出一种可执行的方式对码流进行恢复。由于编码时划分出的码流数量多,可供选择的差错掩盖方式也较多,可以恢复出各路出现错误的码流,避免码流的丢失,提高了视频流的质量。
附图说明
图1是本发明方法实施例的流程图;
图2是基于相邻场平行映射的差错掩盖的示意图;
图3a是基于相邻场的分级边沿平均插值的差错掩盖的示意图;
图3b是查找判断的流程图;
图4是基于相邻帧的最佳邻域匹配的差错掩盖的示意图;
图5是基于相邻帧的双向最佳邻域匹配的差错掩盖的示意图;
图6是本发明装置的结构图。
具体实施方式
为清楚说明本发明中的方案,下面给出优选的实施例并结合附图详细说明。
参见图1,本发明的方法包括:
步骤11:将多媒体码流在时域、空域上划分成多状态编码;
多状态编码的子序列个数,主要取决于应用场景中的易错网络信道传输状态的估计。不同的时域间隔与分割单元的大小,可以组合成各种不同类型的多状态编码,例如,时域间隔为3帧以及分割单元大小为1场对应于由6个子序列构成的多状态编码。
在该实施例中,其时域间隔为2帧以及分割单元大小为1场。整个视频序列,首先在空域上分割成奇场子序列和偶场子序列,然后对奇偶场两个子序列在时域上进行奇偶帧再次分割,从而形成四个子序列:奇帧-奇场子序列,奇帧-偶场子序列,偶帧-奇场子序列,偶帧-偶场子序列。
步骤12:对每个子序列都单独编码,并且通过不同的信道进行传输。
步骤13:对每个信道所传输的编码进行差错掩盖模式的预测,并将预测的结果按照优先的顺序嵌入到编码中。
对各个信道的编码进行差错掩盖模式的预测时,可以选择多种预测模式,在该实施例中,选用四种预测模式进行预测,预测结果的优先原则以MSE(Mean Squared Error,平均平方误差)从小到大的顺序作为优先的顺序,下面分别说明各个预测方式。
1、基于相邻场平行映射的差错掩盖的性能估计:利用当前块映射在相邻场奇、或偶场的相同位置的宏块的运动矢量作为预测运动矢量,找到其在前一帧指向的块区域,计算两者之间的MSE。
2、基于相邻场的分级边沿平均插值的差错掩盖的性能估计:计算当前块与相邻场的相同位置的宏块BN(BN,Block Neighbor,在相邻场内同时域坐标与场内相同空域坐标的相邻宏块)的绝对差值DIF(difference),计算当前块与BN移动一行(当前是偶场,则向上,宏块区域的左上角的起点向上移动一行;否则,向下,宏块区域的左上角的起点向下移动一行所得的宏块的BN′的绝对差值DIF′,计算每个像素的DIFmin(最小绝对差值,对应于每个像素存在两个绝对差值DIF与DIF′,选取其中最小值作为RELA算法的绝对差值的估计值),如公式(1)所示,然后依据DIFmin计算MSE。
DIFmin(x,y)=min(DIF(x,y),DIF′(x,y))    (1)
3、基于相邻帧的最佳邻域匹配的差错掩盖的性能估计:利用在当前块的相邻宏块中的密度概率最大的运动矢量作为预测运动矢量,找到其在前一帧指向的块区域,计算两者之间的MSE。
4、基于相邻帧的双向最佳邻域匹配的差错掩盖的性能估计:利用当前块的运动矢量MV1对应的最小匹配残差的MSE作为预测值MSE1,利用当前块映射在前一帧相同场且偏移量为-MV1/2(MV1的二分之一的负值)的宏块与当前块之间的MSE作为预测值MSE2,利用当前块映射在后一帧相同场且偏移量为+MV1/2的宏块与当前块之间的MSE作为预测值MSE3,将MSEmin作为其最终的预测值,如公式(2)所示。
MSEmin(x,y)=min(MSE1,MSE2,MSE3)    (2)
对上述四种预测方式得出的MSE值由小到大分别排序,并将各个MSE值所对应的估计方式对应的标识或结果嵌入到编码中并发送。
步骤14:解码端对接收的码流进行解码;
步骤15:对解码后的码流提取标识,按照标识的顺序选择出差错掩盖方式,对出现错误的编码进行差错掩盖。
差错掩盖的方式也有相应的四种,下面详细说明,
四种差错掩盖策略对应于丢失宏块在时域与空域可能获得的其中四种相邻参考单元状态:(1)依据在相同帧的相邻场的子序列内的一解码单元;(2)依据在相同帧的相邻场的子序列内的前一与当前的两个解码单元,以及同一子序列内的前一解码单元;(3)依据同一子序列内的前一解码单元;(4)依据相邻帧的同一场的子序列内的时序上前后相邻的两个解码单元。
对应于上述四种情形的四种差错掩盖策略,如下:
1、基于相邻场平行映射的差错掩盖
差错掩盖策略——相邻场平行映射(approximate parallel fieldsprojection,APFP),基于在同一帧内的相邻场的运动矢量之间存在相同的平行映射关系,如图2所示,如果多个子序列的独立编码中采用相同的固定编码参数,那么当前帧(奇/偶数帧)的奇场与偶场中相邻的两个宏块在相邻帧(前/后一的奇/偶数帧)的奇场与偶场的最小运动匹配块也是相邻的。依据推导得出的运动矢量,通过基于运动矢量的帧间替换实现差错掩盖。步骤描述如下:(1)依据丢失块P5-even的时空域位置,找到在同时序相邻空域的子序列内的相邻宏块,将其作为搜索块。(2)搜索块在前一帧的运动矢量无需进行运动匹配获得,从搜索块所在的子序列的解码信息中可以直接获得搜索模板的运动矢量。(3)基于同时序且空域相邻的多个子序列指向前一帧运动矢量基本相同,从而可以得出当前丢失块在当前子序列的前一帧的匹配块。将匹配块作为参考信息,复制到丢失块区域。
其中,运动匹配判决标准,如公式(3)所示:
SSE ( x , y ) ( d x , d y ) = Σ i = 0 N - 1 Σ j = 0 N - 1 [ f n ( x + i , y + j ) - f n - 1 ( x + i + d x , y + j + d y ) ] 2 - - - ( 3 )
(SSE,Sum of Squared Error,即差值的平方和,一类常见的匹配函数,x,y表示块内像素点的坐标,dxdy表示运动匹配中的运动矢量)
2、基于相邻场的分级边沿平均插值的差错掩盖
对于大多数视频而言,在同一帧的奇场与偶场之间存在大量的空域相关性,因此奇场或者偶场的数据丢失后可以通过相邻的另一场进行重建。分级边沿平均插值(rank edge line average,RELA),如图3a、图3b所示,是边沿平均插值的一种改进方案,(即现有的ELA方案)通常应用于视频去隔行算法。其中的阈值参数取决于人眼的敏感程度,可以设定为在15~25之间的一个常量。算法步骤描述如下:(1)依据丢失块的时空域位置,找到在同时序相邻空域的子序列内的相邻宏块,将其作为参考块。(2)利用参考块对丢失块进行空域插值,由于垂直方向是插值最可靠的方向,在插值过程中在多个方向中的选择准则是:(a)匹配点灰度值距离小于阈值;(b)匹配方向与垂直方向之间的夹角最小。
3、基于相邻帧的最佳邻域匹配的差错掩盖
最佳邻域匹配(best neighborhood matching,BNM),也是利用一种平行映射关系,当在同一子序列中块单元与其空域相邻边沿区域的存在平行映射关系,当前帧的某一宏块与其相邻区域在相邻帧(前/后一帧)的最小运动匹配区域也是相邻的。如图4所示,算法步骤描述如下:(1)获取丢失块的空域邻近区域的正确解码信息,建立以丢失块为中心的搜索模板。(2)利用搜索模板,在当前子序列的前一帧进行邻域运动匹配,搜索成本函数最小的参考模板。(3)提取参考模板中的匹配块,将其复制到丢失块的位置,通过基于运动矢量的帧间替换实现差错掩盖。
其中,最佳邻域匹配判决标准,如公式(4)所示:
SSE ( x , y ) ( d x , d y ) = ΣΣ i , j ∈ neighborho od ( x , y ) [ f n ( i , j ) - f n - 1 ( i + d x , j + d y ) ] 2 - - - ( 4 )
(dxdy表示运动匹配中的运动矢量,x,y表示块邻域像素点的坐标)
4、基于相邻帧的双向最佳邻域匹配的差错掩盖
如图5所示,利用当前块的邻域在时域上相邻的前后两场进行最佳邻域匹配,得到当前块在前后两场的两组最佳邻域匹配结果:[MV1,SAD1]在前一场进行最佳邻域运动匹配得到最小匹配结果,运动矢量MV1及其对应的残差SAD1,SAD(Sum of Absolute Difference)即绝对误差和,一类常见的匹配函数,[MV2,SAD2]在后一场进行最佳邻域运动匹配得到最小匹配结果,运动矢量MV2及其对应的残差SAD2。一般情形下,选取最小值所对应的MV作为最佳邻域匹配结果。但是,如果SAD1与SAD2两者数值较大且两者之间的差距较小,则利用参考子序列的码流中已知的运动矢量图找出两个MV指向的区域在前后场之间的运动矢量Ref_2_MV1,(邻域匹配得出的两个MV指向的区域,属于正确解码帧,即存在对应的运动矢量Ref_2_MV1和Ref_2_MV2)Ref_2_MV2。Ref_2_MVn应该大概在MVn的2倍数值左右。依据MVn的合理性分析(依据Ref_2_MVn比较两对前后场之间匹配误差,匹配误差小就意味着其运动矢量方向更合理),选择的运动矢量作为双向最佳邻域匹配的结果,进而实现差错掩盖。
步骤16:对进行差错掩盖后的各个码流在时域和空域上合并。
将差错掩盖后的码流在时域和空域上合并,该操作与步骤11的操作为互逆的反操作。
本发明的方法可在时域和空域上将编码划分为多状态编码,并将各个差错掩盖方式的恢复结果嵌入到各个码流中,在码流恢复过程中,按照优先的顺序选择各个差错掩盖方式,选择出一种可执行的方式对码流进行恢复。由于编码时划分出的码流数量多,可供选择的差错掩盖方式也较多,可以恢复出各路出现错误的码流,避免码流的丢失,提高了视频流的质量。
上面详细说明了本发明的方法,对于本发明的方法有多种装置可以实现,下面给出优选的一种,参见图6,
一种时空域分割多状态视频编码的装置,包括:
多状态编码单元,用于将多媒体码流在时域、空域上划分成多状态编码;
编码单元,用于对每个子序列单独编码,分别通过信道进行传输;
预测单元,用于对每个信道所传输的编码分别进行各种差错掩盖模式的预测,并将预测的结果嵌入到编码中发送;
解码单元,用于对接收到的编码进行解码;
差错掩盖单元,用于按照预测的结果选择出相应的可执行的差错掩盖方式,对错误的码流进行相应的差错掩盖,
合并单元,用于对进行差错掩盖后的各个码流在时域和空域上合并。
优选的,
所述预测单元包括:
对每个信道所传输的编码分别进行各种差错掩盖模式得出相应MSE值的预测模块;将预测的结果嵌入到编码中发送的插入模块;
所述预测模块包括:
基于相邻场平行映射的差错掩盖的性能估计的第一子模块、基于相邻场的分级边沿平均插值的差错掩盖的性能估计的第二子模块、基于相邻帧的最佳邻域匹配的差错掩盖的性能估计的第三子模块、和、基于相邻帧的双向最佳邻域匹配的差错掩盖的性能估计的第四子模块;
所述插入模块将预测的结果嵌入到编码中发送的过程包括:将所述得到的MSE的值从小到大排序,将排序后的各个MSE的值所对应的标识嵌入到编码中发送。
优选的,
所述差错掩盖单元包括:按照预测的结果选择出相应的可执行的差错掩盖方式选择模块,对错误的码流进行相应的差错掩盖的恢复模块;
所述选择模块选择出相应的可执行的差错掩盖方式的过程为:选择出所述标识相对应的可执行的差错掩盖方式;
所述恢复模块包括:
基于相邻场平行映射的差错掩盖的第五子模块、基于相邻场的分级边沿平均插值的差错掩盖的第六子模块、基于相邻帧的最佳邻域匹配的差错掩盖的第七子模块、和、基于相邻帧的双向最佳邻域匹配的差错掩盖的第八子模块。
本发明的装置可在时域和空域上将编码划分为多状态编码,并将各个差错掩盖方式的恢复结果嵌入到各个码流中,在码流恢复过程中,按照优先的顺序选择各个差错掩盖方式,选择出一种可执行的方式对码流进行恢复。由于编码时划分出的码流数量多,可供选择的差错掩盖方式也较多,可以恢复出各路出现错误的码流,避免码流的丢失,提高了视频流的质量。本发明的方法中所记载的各个步骤,均可在该装置中实现,在此不一一赘述。
对于本发明各个实施例中所阐述的方法和装置,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1、一种时空域分割多状态视频编码的方法,其特征在于,包括:
将多媒体码流在时域、空域上划分成多状态编码;对每个子序列单独编码,分别通过信道进行传输;对每个信道所传输的编码分别进行各种差错掩盖模式的预测,并将预测的结果嵌入到编码中发送;
对接收到的编码进行解码,按照预测的结果选择出相应的可执行的差错掩盖方式,对错误的码流进行相应的差错掩盖,对进行差错掩盖后的各个码流在时域和空域上合并。
2、根据权利要求1所述的方法,其特征在于,
所述预测的结果为各种差错掩盖方式的平均平方误差值MSE;
所述嵌入包括:将所述得到的MSE的值从小到大排序,将排序后的各个MSE的值所对应的标识嵌入到编码中;
所述按照预测的结果选择出相应的可执行的差错掩盖方式包括:
选择出所述标识相对应的可执行的差错掩盖方式。
3、根据权利要求1所述的方法,其特征在于,所述各种差错掩盖模式的预测包括:
基于相邻场平行映射的差错掩盖的性能估计、基于相邻场的分级边沿平均插值的差错掩盖的性能估计、基于相邻帧的最佳邻域匹配的差错掩盖的性能估计、和、基于相邻帧的双向最佳邻域匹配的差错掩盖的性能估计。
4、根据权利要求3所述的方法,其特征在于,所述基于相邻场平行映射的差错掩盖的性能估计为:利用当前块映射在相邻场奇、或偶场的相同位置的宏块的运动矢量作为预测运动矢量,找到其在前一帧指向的块区域,计算两个块之间的MSE;
所述基于相邻场的分级边沿平均插值的差错掩盖的性能估计为:计算当前块与相邻场的相同位置的宏块BN的绝对差值DIF,计算当前块与BN移动一行所得的宏块BN′的绝对差值DIF′,计算每个像素的DIFmin,得出MSE;
所述基于相邻帧的双向最佳邻域匹配的差错掩盖的性能估计为:利用当前块的运动矢量MV1对应的最小匹配残差的MSE作为预测值MSE1,利用当前块映射在前一帧相同场且偏移量-MV1/2的宏块与当前块之间的MSE作为预测值MSE2,利用当前块映射在后一帧相同场且偏移量+MV1/2的宏块与当前块之间的MSE作为预测值MSE3,在MSE1、MSE2、MSE3中选择出最小的作为MSE。
5、根据权利要求4所述的方法,其特征在于,所述对错误的码流进行相应的差错掩盖包括:
基于相邻场平行映射的差错掩盖、基于相邻场的分级边沿平均插值的差错掩盖、基于相邻帧的最佳邻域匹配的差错掩盖、或、基于相邻帧的双向最佳邻域匹配的差错掩盖。
6、一种时空域分割多状态视频编码的装置,其特征在于,包括:
多状态编码单元,用于将多媒体码流在时域、空域上划分成多状态编码;
编码单元,用于对每个子序列单独编码,分别通过信道进行传输;
预测单元,用于对每个信道所传输的编码分别进行各种差错掩盖模式的预测,并将预测的结果嵌入到编码中发送;
解码单元,用于对接收到的编码进行解码;
差错掩盖单元,用于按照预测的结果选择出相应的可执行的差错掩盖方式,对错误的码流进行相应的差错掩盖,
合并单元,用于对进行差错掩盖后的各个码流在时域和空域上合并。
7、根据权利要求6所述的装置,其特征在于,
所述预测单元包括:
对每个信道所传输的编码分别进行各种差错掩盖模式得出相应MSE值的预测模块;将预测的结果嵌入到编码中发送的插入模块;
所述预测模块包括:
基于相邻场平行映射的差错掩盖的性能估计的第一子模块、基于相邻场的分级边沿平均插值的差错掩盖的性能估计的第二子模块、基于相邻帧的最佳邻域匹配的差错掩盖的性能估计的第三子模块、和、基于相邻帧的双向最佳邻域匹配的差错掩盖的性能估计的第四子模块;
所述插入模块将预测的结果嵌入到编码中发送的过程包括:将所述得到的MSE的值从小到大排序,将排序后的各个MSE的值所对应的标识嵌入到编码中发送。
8、根据权利要求7所述的装置,其特征在于,
所述差错掩盖单元包括:按照预测的结果选择出相应的可执行的差错掩盖方式选择模块,对错误的码流进行相应的差错掩盖的恢复模块;
所述选择模块选择出相应的可执行的差错掩盖方式的过程为:选择出所述标识相对应的可执行的差错掩盖方式;
所述恢复模块包括:
基于相邻场平行映射的差错掩盖的第五子模块、基于相邻场的分级边沿平均插值的差错掩盖的第六子模块、基于相邻帧的最佳邻域匹配的差错掩盖的第七子模块、和、基于相邻帧的双向最佳邻域匹配的差错掩盖的第八子模块。
CN 200810168859 2008-09-28 2008-09-28 一种时空域分割多状态视频编码的方法和装置 Expired - Fee Related CN101389037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200810168859 CN101389037B (zh) 2008-09-28 2008-09-28 一种时空域分割多状态视频编码的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200810168859 CN101389037B (zh) 2008-09-28 2008-09-28 一种时空域分割多状态视频编码的方法和装置

Publications (2)

Publication Number Publication Date
CN101389037A true CN101389037A (zh) 2009-03-18
CN101389037B CN101389037B (zh) 2012-05-30

Family

ID=40478162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200810168859 Expired - Fee Related CN101389037B (zh) 2008-09-28 2008-09-28 一种时空域分割多状态视频编码的方法和装置

Country Status (1)

Country Link
CN (1) CN101389037B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214356A (zh) * 2011-06-07 2011-10-12 内蒙古大学 基于nvidia gpu平台的最佳邻域匹配并行图像恢复方法
CN108229290A (zh) * 2017-07-26 2018-06-29 北京市商汤科技开发有限公司 视频物体分割方法和装置、电子设备、存储介质和程序

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277549B (zh) * 2017-06-07 2020-05-12 南京邮电大学 一种基于纹理角度预测模式的hevc帧内编码帧差错掩盖方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3756875B2 (ja) * 2001-11-27 2006-03-15 三星電子株式会社 データ符号化及び復号化方法、並びに装置
CN1214636C (zh) * 2002-05-28 2005-08-10 华为技术有限公司 视讯系统中的错误掩盖方法
CN1585486A (zh) * 2004-05-27 2005-02-23 复旦大学 基于时空自适应预测的无损视频压缩方法
CN1319383C (zh) * 2005-04-07 2007-05-30 西安交通大学 高性能空域可伸缩的运动估计与运动矢量编码实现方法
CN101207823A (zh) * 2007-11-22 2008-06-25 武汉大学 用于视频通信的综合抗误码视频编码方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214356A (zh) * 2011-06-07 2011-10-12 内蒙古大学 基于nvidia gpu平台的最佳邻域匹配并行图像恢复方法
CN108229290A (zh) * 2017-07-26 2018-06-29 北京市商汤科技开发有限公司 视频物体分割方法和装置、电子设备、存储介质和程序
CN108229290B (zh) * 2017-07-26 2021-03-02 北京市商汤科技开发有限公司 视频物体分割方法和装置、电子设备、存储介质
US11222211B2 (en) 2017-07-26 2022-01-11 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for segmenting video object, electronic device, and storage medium

Also Published As

Publication number Publication date
CN101389037B (zh) 2012-05-30

Similar Documents

Publication Publication Date Title
CN102656890B (zh) 用于视频编码的方法和设备
CN101816183B (zh) 使用子像素运动估计对图像进行帧间预测编码/解码的方法和设备
CN100424997C (zh) 编码器冗余选择系统和方法
CN101072344B (zh) 一种视频编码方法、解码方法及装置
CN101415122A (zh) 一种帧间预测编解码方法及装置
CN103873861A (zh) 一种用于hevc的编码模式选择方法
JP2013225892A (ja) 直接モード符号化及び復号化装置
CN102860006A (zh) 管理预测运动向量候选
CN103152562A (zh) 运动矢量的解码方法
CN101163250B (zh) 一种基于边界梯度的视频流容错方法
CN101207823A (zh) 用于视频通信的综合抗误码视频编码方法
CN103152563A (zh) 视频数据的解码设备
CN100591136C (zh) 一种基于空域分解的视频帧内编码方法
CN104995916A (zh) 视频数据解码方法和视频数据解码设备
CN101610417A (zh) 一种图像填充方法、装置及设备
CN101867813A (zh) 面向交互式应用的多视点视频编码方法
CN101389037B (zh) 一种时空域分割多状态视频编码的方法和装置
CN100579220C (zh) 利用图像拼接来编码和解码多视点视频的方法和设备
CN102740081B (zh) 一种基于分布式编码技术的多视点视频传输差错控制方法
CN109803143A (zh) 一种对视频进行帧内信息隐藏的方法以及装置
CN102006479B (zh) 面向场景切换的多描述视频编码方法
CN100588262C (zh) 信源信道联合编码中的信道码码率分配方法
CN102215407A (zh) 双向预测块的获取方法和装置以及图像解码方法
CN104717512A (zh) 一种前向双假设编码图像块的编解码方法和装置
CN102223544B (zh) 一种h264视频码流检测到错误后处理错误的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120530

Termination date: 20130928