CN103220533A - 一种立体视频宏块丢失错误隐藏方法 - Google Patents

一种立体视频宏块丢失错误隐藏方法 Download PDF

Info

Publication number
CN103220533A
CN103220533A CN2013101107938A CN201310110793A CN103220533A CN 103220533 A CN103220533 A CN 103220533A CN 2013101107938 A CN2013101107938 A CN 2013101107938A CN 201310110793 A CN201310110793 A CN 201310110793A CN 103220533 A CN103220533 A CN 103220533A
Authority
CN
China
Prior art keywords
block
image
current
image block
macro block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2013101107938A
Other languages
English (en)
Inventor
刘爱玲
蒋刚毅
王晓东
郁梅
邵枫
彭宗举
李福翠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN2013101107938A priority Critical patent/CN103220533A/zh
Publication of CN103220533A publication Critical patent/CN103220533A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种立体视频宏块丢失错误隐藏方法，其通过预先判断丢失帧的时域相邻帧和视点间相邻帧的时域相关性的强弱，来估计丢失帧中的宏块的运动静止状态，将丢失宏块分为运动宏块和静止宏块两类，对于时域相关性较强的静止宏块，采用直接时域帧拷贝方法进行丢失宏块的恢复，不仅计算复杂度低，而且能够提高这类丢失宏块的主客观质量；对于运动宏块，采用两种边界匹配准则在丢失宏块的候选矢量集中的各个矢量所指向的候选宏块中选择出最优候选宏块，并根据最优候选宏块的边界失真值自适应的选择最佳匹配宏块恢复或多方向性插值方法恢复，不仅可以提高运动剧烈的丢失宏块的主客观质量，而且对于处于物体边缘的丢失宏块也能达到很好的恢复效果。

Description

一种立体视频宏块丢失错误隐藏方法
技术领域
本发明涉及一种视频错误隐藏方法，尤其是涉及一种立体视频宏块丢失错误隐藏方法。
背景技术
随着三维显示及其相关技术的快速发展，三维（立体）视频由于能提供全新的立体感体验，满足了观赏者对于深度感、交互式和立体感的需求，因此越来越被人们所重视。伴随着视频通信技术的广泛应用，如何有效地实现高质量、稳定的视频传输成为了研究人员追求的更高目标。在进行立体视频编码和传输的过程中，由于数据量大，因此立体视频编码方法均采用空域、时域和视点域预测来消除冗余信息，使得传输码流的抗误码性能降低，对信道差错更加敏感。当视频流通过不可靠的信道传输时，会造成数据包丢失或比特出错，如果不加以控制，则不仅会影响当前帧和后续帧的正确解码；而且由于编码结构还采用了视点间预测，因此还会对相邻视点帧的解码造成影响，这将严重影响解码端视频的重建质量，从而会降低人眼观看的舒适度。
错误隐藏技术是在解码端利用正确接收到的视频数据，试图用主观可接受的、近似原来质量的数据掩盖差错受损数据，通用性强，是解决上述问题的较好途径之一，具有广阔的应用前景。对于部分宏块丢失的情况，可利用的信息有丢失宏块周围正确接收的可用宏块，及出错帧的时域相邻帧和视点间相邻帧的有效信息。目前已有的宏块丢失错误隐藏方法的恢复过程为假设出错帧中丢失宏块与周围相邻宏块或者是参考帧中同一位置的宏块具有相同的运动矢量/视差矢量，从而将这些相关宏块的矢量作为候选矢量集，使用边界匹配方法或者加权方法恢复丢失宏块。对于立体视频而言，不同区域的时域相关性的强弱是不同的，对于时域相关性强的丢失宏块使用时域帧拷贝方法不仅能够取得较好的恢复效果，而且计算复杂度低，因此对不同区域的丢失宏块采取同一种隐藏方法是不合理的。现有的立体视频宏块丢失错误隐藏方法并没有很好的考虑不同区域丢失宏块的特点及出错帧的时空域相关性和视点间相关性。因此，继续深入研究立体视频宏块丢失的错误隐藏技术十分必要。
发明内容
本发明所要解决的技术问题是提供一种立体视频宏块丢失错误隐藏方法，其能够有效地提高丢失帧的恢复质量。
本发明解决上述技术问题所采用的技术方案为：一种立体视频宏块丢失错误隐藏方法，其特征在于它具体包括以下步骤：
①假设立体视频中t时刻的右视点图像为丢失帧，记为
Figure BDA00002986264400021
将立体视频中已正确解码的t-1时刻的右视点图像记为
Figure BDA00002986264400022
将立体视频中已正确解码的t-2时刻的右视点图像记为
Figure BDA00002986264400023
将立体视频中已正确解码的t时刻的左视点图像记为
Figure BDA00002986264400024
将立体视频中已正确解码的t-1时刻的左视点图像记为
Figure BDA00002986264400025
②计算
Figure BDA00002986264400026
与
Figure BDA00002986264400027
的帧差图像，记为
Figure BDA00002986264400028
Figure BDA00002986264400029
并计算
Figure BDA000029862644000210
与
Figure BDA000029862644000211
的帧差图像，记为
Figure BDA000029862644000212
Figure BDA000029862644000213
其中，符号“||”为取绝对值符号；
③将
Figure BDA000029862644000214
和
Figure BDA000029862644000215
分别分割成个互不重叠的尺寸大小为u×v的第一图像块，然后根据
Figure BDA000029862644000217
中的每个第一图像块中的所有像素点的像素值的均值，确定
Figure BDA000029862644000218
中的每个第一图像块为运动块还是为静止块，其中，W表示立体视频中左视点图像和右视点图像的宽度，H表示立体视频中左视点图像和右视点图像的高度；
将
Figure BDA000029862644000219
和
Figure BDA000029862644000220
分别分割成
Figure BDA000029862644000221
个互不重叠的尺寸大小为u×v的第二图像块，然后根据
Figure BDA000029862644000222
中的每个第二图像块中的所有像素点的像素值的均值，确定
Figure BDA000029862644000223
中的每个第二图像块为运动块还是为静止块；
④首先采用移动帧差法计算
Figure BDA000029862644000224
与
Figure BDA000029862644000225
之间的全局视差矢量，记为Dg；然后根据Dg对
Figure BDA000029862644000226
中的所有运动块进行水平位移，获得
Figure BDA000029862644000227
对应的掩膜图，记为再将
Figure BDA000029862644000229
分割成个互不重叠的尺寸大小为u×v的图像块，其中，W表示立体视频中左视点图像和右视点图像的宽度，H表示立体视频中左视点图像和右视点图像的高度；最后根据
Figure BDA000029862644000231
中的每个第一图像块和
Figure BDA000029862644000232
中的每个第二图像块，确定
Figure BDA000029862644000233
中的每个图像块为运动块还是为静止块；
⑤首先根据
Figure BDA000029862644000234
中的每个图像块，确定
Figure BDA000029862644000235
中的每个宏块为运动宏块还是为静止宏块；然后检测出
Figure BDA00002986264400031
中的所有丢失的宏块，当丢失的宏块为静止宏块时，采用直接时域拷贝的方法恢复该丢失的宏块的亮度信息和色度信息；当丢失的宏块为运动宏块时，根据该丢失的宏块的上相邻宏块、下相邻宏块、左相邻宏块和右相邻宏块中已正确解码的宏块的运动矢量和视差矢量及
Figure BDA00002986264400032
中与该丢失的宏块的坐标位置相同的宏块的运动矢量和视差矢量所指向的候选宏块，恢复该丢失的宏块的亮度信息和色度信息。
所述的步骤③的具体过程为：
③-1a、将
Figure BDA00002986264400033
和
Figure BDA00002986264400034
分别分割成
Figure BDA00002986264400035
个互不重叠的尺寸大小为u×v的第一图像块，将
Figure BDA00002986264400036
中当前待处理的第一图像块定义为当前第一图像块，其中，W表示立体视频中左视点图像和右视点图像的宽度，H表示立体视频中左视点图像和右视点图像的高度；
③-1b、假设当前第一图像块为
Figure BDA00002986264400037
中坐标位置为(i,j)的第一图像块，其中， 1 ≤ i ≤ W u , 1 ≤ j ≤ H v ;
③-1c、根据
Figure BDA00002986264400039
中与当前第一图像块的坐标位置相同的第一图像块中的所有像素点的像素值的均值，确定当前第一图像块的映射状态，记为 S t l ( i , j ) = 1 &mu; b l ( i , j ) &GreaterEqual; T 1 0 &mu; b l ( i , j ) < T 1 , 其中，
Figure BDA000029862644000312
表示
Figure BDA000029862644000313
中与当前第一图像块的坐标位置相同的第一图像块中的所有像素点的像素值的均值，即
Figure BDA000029862644000314
表示
Figure BDA000029862644000315
中坐标位置为(i,j)的第一图像块中的所有像素点的像素值的均值，T1为设定的第一判定阈值；
③-1d、根据当前第一图像块的映射状态
Figure BDA000029862644000316
判断当前第一图像块是运动块还是静止块，如果
Figure BDA000029862644000317
则确定当前第一图像块为运动块，如果
Figure BDA000029862644000318
则确定当前第一图像块为静止块；
③-1e、将
Figure BDA000029862644000319
中下一个待处理的第一图像块作为当前第一图像块，然后返回步骤③-1b继续执行，直至
Figure BDA000029862644000320
中的所有第一图像块均处理完毕，获得
Figure BDA000029862644000321
中的所有运动块和所有静止块；
③-2a、将
Figure BDA000029862644000322
和
Figure BDA000029862644000323
分别分割成
Figure BDA000029862644000324
个互不重叠的尺寸大小为u×v的第二图像块，将
Figure BDA000029862644000325
中当前待处理的第二图像块定义为当前第二图像块；
③-2b、假设当前第二图像块为
Figure BDA000029862644000326
中坐标位置为(i,j)的第二图像块，其中， 1 &le; i &le; W u , 1 &le; j &le; H v ;
③-2c、根据中与当前第二图像块的坐标位置相同的第二图像块中的所有像素点的像素值的均值，确定当前第二图像块的映射状态，记为
Figure BDA00002986264400042
S t - 1 r ( i , j ) = 1 &mu; b r ( i , j ) &GreaterEqual; T 2 0 &mu; b r ( i , j ) < T 2 , 其中，
Figure BDA00002986264400044
表示
Figure BDA00002986264400045
中与当前第二图像块的坐标位置相同的第二图像块中的所有像素点的像素值的均值，即
Figure BDA00002986264400046
表示
Figure BDA00002986264400047
中坐标位置为(i,j)的第二图像块中的所有像素点的像素值的均值，T2为设定的第二判定阈值；
③-2d、根据当前第二图像块的映射状态判断当前第二图像块是运动块还是静止块，如果
Figure BDA00002986264400049
则确定当前第二图像块为运动块，如果
Figure BDA000029862644000410
则确定当前第二图像块为静止块；
③-2e、将
Figure BDA000029862644000411
中下一个待处理的第二图像块作为当前第二图像块，然后返回步骤③-2b继续执行，直至
Figure BDA000029862644000412
中的所有第二图像块均处理完毕，获得
Figure BDA000029862644000413
中的所有运动块和所有静止块。
所述的步骤③和所述的步骤④中u×v=8×8。
所述的步骤③-1c中设定的第一判定阈值T1=μ1+σ1，其中，μ1表示
Figure BDA000029862644000414
中的所有像素点的像素值的均值，σ1表示
Figure BDA000029862644000415
中的所有像素点的像素值的标准差；所述的步骤③-2c中设定的第二判定阈值T2=μ2+σ2，其中，μ2表示
Figure BDA000029862644000416
中的所有像素点的像素值的均值，σ2表示中的所有像素点的像素值的标准差。
所述的步骤④的具体过程为：
④-1、采用移动帧差法计算
Figure BDA000029862644000418
与
Figure BDA000029862644000419
之间的全局视差矢量，记为Dg， D g = arg min ( &Sigma; ( x , y ) &Element; D | I t - 1 r ( x , y ) - I t - 1 l ( x + d , y ) | ( W - | d | ) &times; H ) , 其中， arg min ( &Sigma; ( x , y ) &Element; D | I t - 1 r ( x , y ) - I t - 1 l ( x + d , y ) | ( W - | d | ) &times; H ) 表示
Figure BDA000029862644000422
取最小值时位移d的值，D表示
Figure BDA000029862644000423
中宽为W-|d|且高为H的窗口，符号“||”为取绝对值符号，此处1≤x≤W,1≤y≤H且(x,y)∈D，
Figure BDA000029862644000424
表示中坐标位置为(x,y)的像素点的像素值，
Figure BDA000029862644000426
表示中坐标位置为(x+d,y)的像素点的像素值，-W/λ1≤d≤W/λ1，λ1表示位移d的判断阈值；
④-2、根据Dg，对
Figure BDA000029862644000428
中的所有运动块进行水平位移，当Dg>0时将
Figure BDA000029862644000429
中的所有运动块向左水平位移GDB列像素，当Dg≤0时将
Figure BDA000029862644000430
中的所有运动块向右水平位移GDB列像素，得到
Figure BDA00002986264400051
对应的掩膜图，记为
Figure BDA00002986264400052
其中，
Figure BDA00002986264400053
符号
Figure BDA00002986264400054
为向下取整符号，符号“||”为取绝对值符号，u表示
Figure BDA00002986264400055
中的运动块的宽度；
④-3-1、将
Figure BDA00002986264400056
分割成
Figure BDA00002986264400057
个互不重叠的尺寸大小为u×v的图像块，将
Figure BDA00002986264400058
中当前待处理的图像块定义为当前图像块，其中，W表示立体视频中左视点图像和右视点图像的宽度，H表示立体视频中左视点图像和右视点图像的高度；
④-3-2、假设当前图像块为中坐标位置为(i,j)的图像块，其中， 1 &le; i &le; W u , 1 &le; j &le; H v ;
④-3-3、根据
Figure BDA000029862644000511
中与当前图像块的坐标位置相同的第一图像块和
Figure BDA000029862644000512
中与当前图像块的坐标位置相同的第二图像块，确定当前图像块为运动块还是为静止块，如果
Figure BDA000029862644000513
中与当前图像块的坐标位置相同的第一图像块为运动块或
Figure BDA000029862644000514
中与当前图像块的坐标位置相同的第二图像块为运动块，则确定当前图像块为运动块；如果
Figure BDA000029862644000515
中与当前图像块的坐标位置相同的第一图像块和
Figure BDA000029862644000516
中与当前图像块的坐标位置相同的第二图像块均为静止块，则确定当前图像块为静止块；
④-3-4、将
Figure BDA000029862644000517
中下一个待处理的图像块作为当前图像块，然后返回步骤④-3-2继续执行，直至
Figure BDA000029862644000518
中的所有图像块处理完毕，获得
Figure BDA000029862644000519
中的所有运动块和所有静止块。
所述的步骤④-1中取λ1=5。
所述的步骤⑤的具体过程为：
⑤-1、根据中的每个图像块，确定
Figure BDA000029862644000521
中的每个宏块为运动宏块还是为静止宏块，对于
Figure BDA000029862644000522
中坐标位置为(i',j')的宏块MBi',j'，如果MBi',j'内的所有图像块均为静止块，则确定MBi',j'为静止宏块，如果MBi',j'内的所有图像块中至少有一个图像块为运动块，则确定MBi',j'为运动宏块，其中，
Figure BDA000029862644000523
⑤-2、检测出
Figure BDA000029862644000524
中的所有丢失的宏块，将
Figure BDA000029862644000525
中当前待处理的丢失的宏块定义为当前宏块；
⑤-3、假设当前宏块为
Figure BDA00002986264400063
中坐标位置为(i',j')的宏块MBi',j'，如果当前宏块为静止宏块，则采用直接时域帧拷贝的方法恢复当前宏块的亮度信息和色度信息，然后执行步骤⑤-7；如果当前宏块为运动宏块，则执行步骤⑤-4；
⑤-4、构建当前宏块的候选矢量集，当前宏块的候选矢量集包括当前宏块的上相邻宏块、下相邻宏块、左相邻宏块和右相邻宏块中已正确解码的宏块的运动矢量和视差矢量及
Figure BDA00002986264400061
中与当前宏块的坐标位置相同的宏块的运动矢量和视差矢量；
⑤-5、采用外边界匹配准则，计算当前宏块的候选矢量集中的每个运动矢量和每个视差矢量各自所指向的候选宏块的边界失真值；然后选择边界失真值最小的三个候选宏块，按边界失真值从小到大的顺序分别记为MBopt1、MBopt2和MBopt3；再对MBopt1、MBopt2和MBopt3中的每个像素点的像素值进行加权平均，得到一个加权候选宏块，记为MBwei，将MBwei中坐标位置为(p,q)的像素点的像素值记为mbwei(p,q)， mb wei ( p , q ) = &omega; 1 &times; mb opt 1 ( p , q ) + &omega; 2 &times; mb opt 2 ( p , q ) + &omega; 3 &times; mb opt 3 ( p , q ) &omega; 1 + &omega; 2 + &omega; 3 , 其中，1≤p≤16,1≤q≤16，mbopt1(p,q)表示MBopt1中坐标位置为(p,q)的像素点的像素值，mbopt2(p,q)表示MBopt2中坐标位置为(p,q)的像素点的像素值，mbopt3(p,q)表示MBopt3中坐标位置为(p,q)的像素点的像素值，ω1表示MBopt1的权重，ω2表示MBopt2的权重，ω3表示MBopt3的权重；
⑤-6、采用边界匹配准则，分别计算MBopt1和MBwei的边界失真值；然后根据MBopt1和MBwei的边界失真值，自适应地对当前宏块进行恢复，如果MBopt1的边界失真值或MBwei的边界失真值小于或等于设定的第三判定阈值T3，则当MBopt1的边界失真值小于MBwei的边界失真值时，将MBopt1的亮度信息和色度信息作为当前宏块的亮度信息和色度信息，当MBwei的边界失真值小于MBopt1的边界失真值时，将MBwei的亮度信息和色度信息作为当前宏块的亮度信息和色度信息；如果MBopt1的边界失真值和MBwei的边界失真值均大于设定的第三判定阈值T3，则采用多方向性插值的方法恢复当前宏块的亮度信息和色度信息；
⑤-7、将
Figure BDA00002986264400071
中下一个待处理的丢失的宏块作为当前宏块，然后返回步骤⑤-3继续执行，直至
Figure BDA00002986264400072
中的所有丢失的宏块的亮度信息和色度信息恢复完毕。
所述的步骤⑤-5中ω1=5，ω2=4，ω3=3。
所述的步骤⑤-6中设定的第三判定阈值T3=20。
与现有技术相比，本发明的优点在于：本发明方法通过预先判断丢失帧的时域相邻帧和视点间相邻帧的时域相关性的强弱，来估计丢失帧中的宏块的运动静止状态，将丢失宏块分为运动宏块和静止宏块两类，对于时域相关性较强的静止宏块，采用直接时域帧拷贝的方法进行丢失宏块的恢复，不仅计算复杂度低，而且能够提高这类丢失宏块的主客观质量；对于运动宏块，采用两种边界匹配准则在丢失宏块的候选矢量集中的各个矢量所指向的候选宏块中选择出最优候选宏块，并根据最优候选宏块的边界失真值自适应的选择最佳匹配宏块恢复或多方向性插值的方法恢复，不仅可以提高运动剧烈的丢失宏块的主客观质量，而且对于处于物体边缘的丢失宏块也能达到很好的恢复效果。
附图说明
图1为本发明方法处理的立体视频采用的IPPP立体视频预测编码结构的示意图；
图2a为分辨率为640×480的Akko立体视频序列图像；
图2b为分辨率为640×480的Rena立体视频序列图像；
图2c为分辨率为512×384的Door flowers立体视频序列图像；
图3a为测试序列Akko在QP=30时丢失帧正常解码重建时的图像(PSNR=38.57dB)；
图3b为测试序列Akko在QP=30，丢包率为10%时采用时域帧拷贝方法恢复得到的丢失帧(PSNR=30.40dB)；
图3c为测试序列Akko在QP=30，丢包率为10%时采用JM错误隐藏方法恢复得到的丢失帧(PSNR=35.28dB)；
图3d为测试序列Akko在QP=30，丢包率为10%时采用本发明方法恢复得到的丢失帧(PSNR=37.82dB)。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种立体视频宏块丢失错误隐藏方法，其从立体视频序列时域、视点间视频图像信息区域运动特征出发，利用丢失帧所在视点相邻帧的运动静止区域和同一时刻相邻视点帧的运动静止区域来估计丢失帧中的运动区域和静止区域，从而将丢失的宏块分为运动宏块和静止宏块，对于静止宏块，直接采用时域帧拷贝的方法进行恢复，不仅可以减小计算复杂度，且能提高丢失的宏块的恢复效果，对于运动宏块，使用两种边界匹配准则自适应的选择最优匹配块或多方向性插值方法进行恢复。为了与单视点视频服务保持兼容，图1给出了本发明方法所采用的立体视频编码结构，其中左视点视频序列采用基于H.264的编码标准进行独立压缩编码，右视点视频序列采用联合运动补偿预测（MCP，motion compensation prediction）和视差补偿预测（DCP，disparitycompensation prediction）的编码结构，视差补偿预测是立体视频区别于传统的单通道视频的重要特征。图1所示的立体视频编码结构中既利用了运动补偿消除视点内的编码冗余，又采用了视差补偿消除视点间的编码冗余。
本发明的立体视频宏块丢失错误隐藏方法，其具体包括以下步骤：
①假设立体视频中t时刻的右视点图像为丢失帧，记为
Figure BDA00002986264400081
将立体视频中已正确解码的t-1时刻的右视点图像记为
Figure BDA00002986264400082
将立体视频中已正确解码的t-2时刻的右视点图像记为
Figure BDA00002986264400083
将立体视频中已正确解码的t时刻的左视点图像记为
Figure BDA00002986264400084
将立体视频中已正确解码的t-1时刻的左视点图像记为
Figure BDA00002986264400085
②计算
Figure BDA00002986264400086
与的帧差图像，记为
Figure BDA00002986264400089
并计算
Figure BDA000029862644000810
与的帧差图像，记为
Figure BDA000029862644000812
Figure BDA000029862644000813
其中，符号“||”为取绝对值符号。
③将和
Figure BDA000029862644000815
分别分割成
Figure BDA000029862644000816
个互不重叠的尺寸大小为u×v的第一图像块，然后根据中的每个第一图像块中的所有像素点的像素值的均值，确定
Figure BDA000029862644000818
中的每个第一图像块为运动块还是为静止块，其中，W表示立体视频中左视点图像和右视点图像的宽度，H表示立体视频中左视点图像和右视点图像的高度。将
Figure BDA000029862644000819
和
Figure BDA000029862644000820
分别分割成个互不重叠的尺寸大小为u×v的第二图像块，然后根据
Figure BDA000029862644000822
中的每个第二图像块中的所有像素点的像素值的均值，确定
Figure BDA000029862644000823
中的每个第二图像块为运动块还是为静止块。
在此具体实施例中，步骤③的具体过程为：
③-1a、将
Figure BDA000029862644000824
和
Figure BDA000029862644000825
分别分割成
Figure BDA000029862644000826
个互不重叠的尺寸大小为u×v的第一图像块，将
Figure BDA00002986264400091
中当前待处理的第一图像块定义为当前第一图像块，其中，W表示立体视频中左视点图像和右视点图像的宽度，H表示立体视频中左视点图像和右视点图像的高度。
③-1b、假设当前第一图像块为
Figure BDA00002986264400092
中坐标位置为(i,j)的第一图像块，其中， 1 &le; i &le; W u , 1 &le; j &le; H v .
③-1c、根据中与当前第一图像块的坐标位置相同的第一图像块中的所有像素点的像素值的均值，确定当前第一图像块的映射状态，记为
Figure BDA00002986264400095
S t l ( i , j ) = 1 &mu; b l ( i , j ) &GreaterEqual; T 1 0 &mu; b l ( i , j ) < T 1 , 其中，
Figure BDA00002986264400097
表示
Figure BDA00002986264400098
中与当前第一图像块的坐标位置相同的第一图像块中的所有像素点的像素值的均值，即
Figure BDA00002986264400099
表示
Figure BDA000029862644000910
中坐标位置为(i,j)的第一图像块中的所有像素点的像素值的均值，T1为设定的第一判定阈值。
③-1d、根据当前第一图像块的映射状态
Figure BDA000029862644000911
判断当前第一图像块是运动块还是静止块，如果
Figure BDA000029862644000912
则确定当前第一图像块为运动块，如果
Figure BDA000029862644000913
则确定当前第一图像块为静止块。
③-1e、将
Figure BDA000029862644000914
中下一个待处理的第一图像块作为当前第一图像块，然后返回步骤③-1b继续执行，直至
Figure BDA000029862644000915
中的所有第一图像块均处理完毕，获得中的所有运动块和所有静止块。
③-2a、将
Figure BDA000029862644000917
和
Figure BDA000029862644000918
分别分割成
Figure BDA000029862644000919
个互不重叠的尺寸大小为u×v的第二图像块，将
Figure BDA000029862644000920
中当前待处理的第二图像块定义为当前第二图像块。
③-2b、假设当前第二图像块为
Figure BDA000029862644000921
中坐标位置为(i,j)的第二图像块，其中， 1 &le; i &le; W u , 1 &le; j &le; H v .
③-2c、根据
Figure BDA000029862644000923
中与当前第二图像块的坐标位置相同的第二图像块中的所有像素点的像素值的均值，确定当前第二图像块的映射状态，记为
Figure BDA000029862644000924
S t - 1 r ( i , j ) = 1 &mu; b r ( i , j ) &GreaterEqual; T 2 0 &mu; b r ( i , j ) < T 2 , 其中，
Figure BDA000029862644000926
表示
Figure BDA000029862644000927
中与当前第二图像块的坐标位置相同的第二图像块中的所有像素点的像素值的均值，即
Figure BDA000029862644000928
表示
Figure BDA000029862644000929
中坐标位置为(i,j)的第二图像块中的所有像素点的像素值的均值，T2为设定的第二判定阈值。
③-2d、根据当前第二图像块的映射状态
Figure BDA000029862644000930
判断当前第二图像块是运动块还是静止块，如果
Figure BDA00002986264400101
则确定当前第二图像块为运动块，如果
Figure BDA00002986264400102
则确定当前第二图像块为静止块。
③-2e、将
Figure BDA00002986264400103
中下一个待处理的第二图像块作为当前第二图像块，然后返回步骤③-2b继续执行，直至中的所有第二图像块均处理完毕，获得
Figure BDA00002986264400105
中的所有运动块和所有静止块。
在本实施例中，取u×v=8×8，即
Figure BDA00002986264400106
中的第一图像块和
Figure BDA00002986264400107
中的第二图像块的尺寸大小均为8×8。通过大量实验，实验结果表明：如果
Figure BDA00002986264400108
中的第一图像块和
Figure BDA00002986264400109
中的第二图像块的尺寸大小均为4×4，则由于图像块的尺寸过小，图像块中所包含的有效参考信息不多，因此会导致运动块和静止块的判断结果不准确；如果
Figure BDA000029862644001010
中的第一图像块和中的第二图像块的尺寸大小均为一个宏块的大小16×16，则当宏块内运动部分所占比例低时会导致将其划分为静止块，最终也会导致运动块和静止块的判断结果不准确。在此，考虑到计算复杂度及计算精度，取u×v=8×8。
在本实施例中，步骤③-1c中设定的第一判定阈值T1=μ1+σ1，其中，μ1表示
Figure BDA000029862644001012
中的所有像素点的像素值的均值，σ1表示
Figure BDA000029862644001013
中的所有像素点的像素值的标准差；步骤③-2c中设定的第二判定阈值T2=μ2+σ2，其中，μ2表示
Figure BDA000029862644001014
中的所有像素点的像素值的均值，σ2表示
Figure BDA000029862644001015
中的所有像素点的像素值的标准差。
④首先采用现有的移动帧差法计算
Figure BDA000029862644001016
与之间的全局视差矢量，记为Dg；然后根据Dg对
Figure BDA000029862644001018
中的所有运动块进行水平位移，获得
Figure BDA000029862644001019
对应的掩膜图，记为
Figure BDA000029862644001020
再将
Figure BDA000029862644001021
分割成个互不重叠的尺寸大小为u×v的图像块，其中，W表示立体视频中左视点图像和右视点图像的宽度，H表示立体视频中左视点图像和右视点图像的高度；最后根据
Figure BDA000029862644001023
中的每个第一图像块和
Figure BDA000029862644001024
中的每个第二图像块，确定
Figure BDA000029862644001025
中的每个图像块为运动块还是为静止块。在本实施例中，取u×v=8×8。
在此具体实施例中，步骤④的具体过程为：
④-1、采用现有的移动帧差法计算
Figure BDA000029862644001026
与
Figure BDA000029862644001027
之间的全局视差矢量，记为Dg， D g = arg min ( &Sigma; ( x , y ) &Element; D | I t - 1 r ( x , y ) - I t - 1 l ( x + d , y ) | ( W - | d | ) &times; H ) , 其中， arg min ( &Sigma; ( x , y ) &Element; D | I t - 1 r ( x , y ) - I t - 1 l ( x + d , y ) | ( W - | d | ) &times; H ) 表示
Figure BDA00002986264400111
取最小值时位移d的值，D表示中宽为W-|d|且高为H的窗口，符号“||”为取绝对值符号，此处1≤x≤W,1≤y≤H且(x,y)∈D，
Figure BDA00002986264400113
表示
Figure BDA00002986264400114
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00002986264400115
表示
Figure BDA00002986264400116
中坐标位置为(x+d,y)的像素点的像素值，-W/λ1≤d≤W/λ1，λ1表示位移d的判断阈值，在本实施例中，取λ1=5。
④-2、根据Dg，对
Figure BDA00002986264400117
中的所有运动块进行水平位移，当Dg>0时将
Figure BDA00002986264400118
中的所有运动块向左水平位移GDB列像素，当Dg≤0时将
Figure BDA00002986264400119
中的所有运动块向右水平位移GDB列像素，得到
Figure BDA000029862644001110
对应的掩膜图，记为
Figure BDA000029862644001111
其中，
Figure BDA000029862644001112
符号
Figure BDA000029862644001113
为向下取整符号，符号“||”为取绝对值符号，u表示中的运动块的宽度，即在此u=8。
④-3-1、将
Figure BDA000029862644001115
分割成
Figure BDA000029862644001116
个互不重叠的尺寸大小为u×v的图像块，将中当前待处理的图像块定义为当前图像块，其中，W表示立体视频中左视点图像和右视点图像的宽度，H表示立体视频中左视点图像和右视点图像的高度。
④-3-2、假设当前图像块为
Figure BDA000029862644001118
中坐标位置为(i,j)的图像块，其中， 1 &le; i &le; W u , 1 &le; j &le; H v .
④-3-3、根据
Figure BDA000029862644001120
中与当前图像块的坐标位置相同的第一图像块和
Figure BDA000029862644001121
中与当前图像块的坐标位置相同的第二图像块，即根据
Figure BDA000029862644001122
中坐标位置为(i,j)的第一图像块和中坐标位置为(i,j)的第二图像块，确定当前图像块为运动块还是为静止块，如果中与当前图像块的坐标位置相同的第一图像块为运动块或
Figure BDA000029862644001125
中与当前图像块的坐标位置相同的第二图像块为运动块，则确定当前图像块为运动块；如果
Figure BDA000029862644001126
中与当前图像块的坐标位置相同的第一图像块和中与当前图像块的坐标位置相同的第二图像块均为静止块，则确定当前图像块为静止块。
④-3-4、将
Figure BDA000029862644001128
中下一个待处理的图像块作为当前图像块，然后返回步骤④-3-2继续执行，直至
Figure BDA000029862644001129
中的所有图像块处理完毕，获得
Figure BDA000029862644001130
中的所有运动块和所有静止块。
⑤首先根据
Figure BDA00002986264400121
中的每个图像块，确定
Figure BDA00002986264400122
中的每个宏块为运动宏块还是为静止宏块；然后检测出
Figure BDA00002986264400123
中的所有丢失的宏块，当丢失的宏块为静止宏块时，采用直接时域拷贝的方法恢复该丢失的宏块的亮度信息和色度信息；当丢失的宏块为运动宏块时，根据该丢失的宏块的上相邻宏块、下相邻宏块、左相邻宏块和右相邻宏块中已正确解码的宏块的运动矢量和视差矢量及
Figure BDA00002986264400124
中与该丢失的宏块的坐标位置相同的宏块的运动矢量和视差矢量所指向的候选宏块，恢复该丢失的宏块的亮度信息和色度信息。
在此具体实施例中，步骤⑤的具体过程为：
⑤-1、根据
Figure BDA00002986264400125
中的每个图像块，确定
Figure BDA00002986264400126
中的每个宏块为运动宏块还是为静止宏块，对于
Figure BDA00002986264400127
中坐标位置为(i',j')的宏块MBi',j'，如果MBi',j'内的所有图像块均为静止块，则确定MBi',j'为静止宏块，如果MBi',j'内的所有图像块中至少有一个图像块为运动块，则确定MBi',j'为运动宏块，其中，
Figure BDA00002986264400128
⑤-2、检测出
Figure BDA00002986264400129
中的所有丢失的宏块，将
Figure BDA000029862644001210
中当前待处理的丢失的宏块定义为当前宏块。
⑤-3、假设当前宏块为中坐标位置为(i',j')的宏块MBi',j'，如果当前宏块为静止宏块，则采用直接时域帧拷贝的方法恢复当前宏块的亮度信息和色度信息，然后执行步骤⑤-7；如果当前宏块为运动宏块，则执行步骤⑤-4。
在此，采用现有的直接时域帧拷贝的方法恢复当前宏块的亮度信息和色度信息的过程为：直接将
Figure BDA000029862644001212
中与当前宏块的坐标位置相同的宏块的亮度信息和色度信息作为当前宏块的亮度信息和色度信息。
⑤-4、构建当前宏块的候选矢量集，当前宏块的候选矢量集包括当前宏块的上相邻宏块、下相邻宏块、左相邻宏块和右相邻宏块中已正确解码的宏块的运动矢量和视差矢量及
Figure BDA000029862644001213
中与当前宏块的坐标位置相同的宏块的运动矢量和视差矢量。在此，当前宏块的上相邻宏块为位于当前宏块上方的宏块，当前宏块的下相邻宏块为位于当前宏块下方的宏块，当前宏块的左相邻宏块为位于当前宏块左方的宏块，当前宏块的右相邻宏块为位于当前宏块右方的宏块，即如果当前宏块的坐标位置为(x,y)，则当前宏块的上相邻宏块的坐标位置为(x,y-1)，当前宏块的下相邻宏块的坐标位置为(x,y+1)，当前宏块的左相邻宏块的坐标位置为(x-1,y)，当前宏块的右相邻宏块的坐标位置为(x+1,y)。
⑤-5、采用现有的外边界匹配准则（Outer Border Match Algorithm,OBMA），计算当前宏块的候选矢量集中的每个运动矢量和每个视差矢量各自所指向的候选宏块的边界失真值；然后选择边界失真值最小的三个候选宏块，按边界失真值从小到大的顺序分别记为MBopt1、MBopt2和MBopt3；再对候选宏块MBopt1、MBopt2和MBopt3中的每个像素点的像素值进行加权平均，得到一个加权候选宏块，记为MBwei，将MBwei中坐标位置为(p,q)的像素点的像素值记为mbwei(p,q)， mb wei ( p , q ) = &omega; 1 &times; mb opt 1 ( p , q ) + &omega; 2 &times; mb opt 2 ( p , q ) + &omega; 3 &times; mb opt 3 ( p , q ) &omega; 1 + &omega; 2 + &omega; 3 , 其中，1≤p≤16,1≤q≤16，mbopt1(p,q)表示候选宏块MBopt1中坐标位置为(p,q)的像素点的像素值，mbopt2(p,q)表示候选宏块MBopt2中坐标位置为(p,q)的像素点的像素值，mbopt3(p,q)表示候选宏块MBopt3中坐标位置为(p,q)的像素点的像素值，ω1表示候选宏块MBopt1的权重，ω2表示候选宏块MBopt2的权重，ω3表示候选宏块MBopt3的权重，在本实施例中，取ω1=5，ω2=4，ω3=3。
在此，外边界匹配准则计算候选宏块的边界失真值的过程即为：计算候选宏块所在参考帧四周相邻外边界一个像素宽度的像素值与丢失帧中丢失的宏块四周相邻外边界一个像素宽度的对应像素值的平均绝对差值。
⑤-6、采用现有的边界匹配准则（Border Match Algorithm,BMA），分别计算MBopt1和MBwei的边界失真值；然后根据MBopt1和MBwei的边界失真值，自适应地对当前宏块进行恢复，如果MBopt1的边界失真值或MBwei的边界失真值小于或等于设定的第三判定阈值T3，则当MBopt1的边界失真值小于MBwei的边界失真值时，将MBopt1的亮度信息和色度信息作为当前宏块的亮度信息和色度信息，当MBwei的边界失真值小于MBopt1的边界失真值时，将MBwei的亮度信息和色度信息作为当前宏块的亮度信息和色度信息；如果MBopt1的边界失真值和MBwei的边界失真值均大于设定的第三判定阈值T3，则采用现有的多方向性插值的方法恢复当前宏块的亮度信息和色度信息，在本实施例中，取设定的第三判定阈值T3=20。
在此，边界匹配准则计算MBopt1或MBwei的边界失真值的过程即为：计算MBopt1或MBwei的外边界和丢失的宏块周围已正确解码的宏块的边界一个像素宽度的像素值的平均绝对差。
⑤-7、将
Figure BDA00002986264400141
中下一个待处理的丢失的宏块作为当前宏块，然后返回步骤⑤-3继续执行，直至
Figure BDA00002986264400142
中的所有丢失的宏块的亮度信息和色度信息恢复完毕。
为更好地说明本发明方法的可行性和有效性，进行实验，具体如下：
在此对H.264的校验平台JM8.6进行修改实现如图1所示的编码结构，帧率为30fps，量化参数QP分别为26、30、34。所使用的测试序列为图像尺寸为640×480的Akko序列、图像尺寸为640×480的Rena序列以及图像尺寸为512×384的Door flowers序列，分别如图2a、图2b和图2c所示。在实验中，假设左视点图像正确接收，右视点P帧图像随机丢包，丢包率的最小计算单位是宏块，设每个出错帧的丢包率分别为5%、10%和20%，且各丢失宏块在出错帧中的位置随机散乱分布，每个出错帧每种丢包率的情况，均进行10次丢包实验，结果取10次实验的平均值。对于Akko序列右视点从第5帧图像到第24帧图像共20帧分别进行丢包实验，对Rena序列右视点第8帧到第27帧图像以及Door flowers序列右视点从第53帧到第72帧图像共20帧图像分别进行丢包实验，最后结果取20帧结果的均值。
为了比较不同错误隐藏方法的优劣，除本发明方法外，还比较了时域帧拷贝的方法恢复丢失帧、JM8.6中所采用的错误隐藏方法。表1给出了在同一量化参数、不同丢包率下采用不同恢复方法对丢失帧进行处理获得的恢复帧的平均PSNR比较，表2给出了在同一丢包率、不同量化参数下采用不同恢复方法对丢失帧进行处理获得的恢复帧的平均PSNR比较。表1和表2中所列的结果是对每个测试序列的右视点连续20帧分别发生丢包时，20帧恢复图像PSNR的均值。
表1在同一量化参数、不同丢包率下采用不同恢复方法获得的恢复帧的平均PSNR比较
Figure BDA00002986264400143
Figure BDA00002986264400151
表2在同一丢包率、不同量化参数下采用不同恢复方法获得的恢复帧的平均PSNR比较
Figure BDA00002986264400152
上述表1和表2中的增益α表示本发明方法相对JM方法在PSNR(峰值信噪比)上的增益，即α=PSNR本发明-PSNRJM；增益β表示本发明方法相对于正确解码重建图像在PSNR上的负增益，即β=PSNR正确解码-PSNR本发明。从表1中可以看出，对于不同的立体视频序列，在不同丢包率下，本发明方法均比时域帧拷贝方法和JM方法在丢失帧恢复图像的PSNR上提高0.77～3.13dB。从表2中可以看出，在不同的编码量化参数下，本发明方法均比时域帧拷贝方法和JM方法在丢失帧恢复图像的PSNR上提高1.06～3.22dB，而与正常解码的恢复图像在PSNR上相差控制在1dB之内。
图3a给出了图2a所示的测试序列Akko在QP=30，丢包率为10%时的丢失帧正常解码重建的图像，图3b为采用时域帧拷贝方法恢复得到的丢失帧，图3c为采用JM中的错误隐藏方法恢复得到的丢失帧，图3d给出了采用本发明方法恢复得到的丢失帧。从图3b和图3c中可以看出，由于时域帧拷贝的方法没有考虑到运动，因此对于运动块的恢复效果不好，具有明显的块效应，JM恢复方法只使用了视点内时域信息没有使用视点间的相关性，因此对部分丢失块的恢复效果不准确，从图3d中可以看出，其图像质量明显好于图3b和图3c所示的图像。

Claims (9)

1.一种立体视频宏块丢失错误隐藏方法，其特征在于它具体包括以下步骤：
①假设立体视频中t时刻的右视点图像为丢失帧，记为
Figure FDA00002986264300011
将立体视频中已正确解码的t-1时刻的右视点图像记为
Figure FDA00002986264300012
将立体视频中已正确解码的t-2时刻的右视点图像记为
Figure FDA00002986264300013
将立体视频中已正确解码的t时刻的左视点图像记为
Figure FDA00002986264300014
将立体视频中已正确解码的t-1时刻的左视点图像记为
Figure FDA00002986264300015
②计算
Figure FDA00002986264300016
与的帧差图像，记为
Figure FDA00002986264300018
Figure FDA00002986264300019
并计算
Figure FDA000029862643000110
与
Figure FDA000029862643000111
的帧差图像，记为
Figure FDA000029862643000112
Figure FDA000029862643000113
其中，符号“||”为取绝对值符号；
③将
Figure FDA000029862643000114
和
Figure FDA000029862643000115
分别分割成
Figure FDA000029862643000116
个互不重叠的尺寸大小为u×v的第一图像块，然后根据
Figure FDA000029862643000117
中的每个第一图像块中的所有像素点的像素值的均值，确定
Figure FDA000029862643000118
中的每个第一图像块为运动块还是为静止块，其中，W表示立体视频中左视点图像和右视点图像的宽度，H表示立体视频中左视点图像和右视点图像的高度；
将和
Figure FDA000029862643000120
分别分割成
Figure FDA000029862643000121
个互不重叠的尺寸大小为u×v的第二图像块，然后根据
Figure FDA000029862643000122
中的每个第二图像块中的所有像素点的像素值的均值，确定
Figure FDA000029862643000123
中的每个第二图像块为运动块还是为静止块；
④首先采用移动帧差法计算
Figure FDA000029862643000124
与
Figure FDA000029862643000125
之间的全局视差矢量，记为Dg；然后根据Dg对
Figure FDA000029862643000126
中的所有运动块进行水平位移，获得对应的掩膜图，记为再将
Figure FDA000029862643000129
分割成
Figure FDA000029862643000130
个互不重叠的尺寸大小为u×v的图像块，其中，W表示立体视频中左视点图像和右视点图像的宽度，H表示立体视频中左视点图像和右视点图像的高度；最后根据
Figure FDA000029862643000131
中的每个第一图像块和
Figure FDA000029862643000132
中的每个第二图像块，确定
Figure FDA000029862643000133
中的每个图像块为运动块还是为静止块；
⑤首先根据
Figure FDA000029862643000134
中的每个图像块，确定中的每个宏块为运动宏块还是为静止宏块；然后检测出
Figure FDA000029862643000136
中的所有丢失的宏块，当丢失的宏块为静止宏块时，采用直接时域拷贝的方法恢复该丢失的宏块的亮度信息和色度信息；当丢失的宏块为运动宏块时，根据该丢失的宏块的上相邻宏块、下相邻宏块、左相邻宏块和右相邻宏块中已正确解码的宏块的运动矢量和视差矢量及
Figure FDA00002986264300021
中与该丢失的宏块的坐标位置相同的宏块的运动矢量和视差矢量所指向的候选宏块，恢复该丢失的宏块的亮度信息和色度信息。
2.根据权利要求1所述的一种立体视频宏块丢失错误隐藏方法，其特征在于所述的步骤③的具体过程为：
③-1a、将
Figure FDA00002986264300022
和
Figure FDA00002986264300023
分别分割成
Figure FDA00002986264300024
个互不重叠的尺寸大小为u×v的第一图像块，将中当前待处理的第一图像块定义为当前第一图像块，其中，W表示立体视频中左视点图像和右视点图像的宽度，H表示立体视频中左视点图像和右视点图像的高度；
③-1b、假设当前第一图像块为
Figure FDA00002986264300026
中坐标位置为(i,j)的第一图像块，其中， 1 &le; i &le; W u , 1 &le; j &le; H v ;
③-1c、根据
Figure FDA00002986264300028
中与当前第一图像块的坐标位置相同的第一图像块中的所有像素点的像素值的均值，确定当前第一图像块的映射状态，记为
Figure FDA00002986264300029
S t l ( i , j ) = 1 &mu; b l ( i , j ) &GreaterEqual; T 1 0 &mu; b l ( i , j ) < T 1 , 其中，
Figure FDA000029862643000211
表示中与当前第一图像块的坐标位置相同的第一图像块中的所有像素点的像素值的均值，即
Figure FDA000029862643000213
表示
Figure FDA000029862643000214
中坐标位置为(i,j)的第一图像块中的所有像素点的像素值的均值，T1为设定的第一判定阈值；
③-1d、根据当前第一图像块的映射状态
Figure FDA000029862643000215
判断当前第一图像块是运动块还是静止块，如果则确定当前第一图像块为运动块，如果
Figure FDA000029862643000217
则确定当前第一图像块为静止块；
③-1e、将
Figure FDA000029862643000218
中下一个待处理的第一图像块作为当前第一图像块，然后返回步骤③-1b继续执行，直至
Figure FDA000029862643000219
中的所有第一图像块均处理完毕，获得
Figure FDA000029862643000220
中的所有运动块和所有静止块；
③-2a、将
Figure FDA000029862643000221
和
Figure FDA000029862643000222
分别分割成个互不重叠的尺寸大小为u×v的第二图像块，将
Figure FDA000029862643000224
中当前待处理的第二图像块定义为当前第二图像块；
③-2b、假设当前第二图像块为中坐标位置为(i,j)的第二图像块，其中， 1 &le; i &le; W u , 1 &le; j &le; H v ;
③-2c、根据
Figure FDA000029862643000227
中与当前第二图像块的坐标位置相同的第二图像块中的所有像素点的像素值的均值，确定当前第二图像块的映射状态，记为
Figure FDA00002986264300031
S t - 1 r ( i , j ) = 1 &mu; b r ( i , j ) &GreaterEqual; T 2 0 &mu; b r ( i , j ) < T 2 , 其中，
Figure FDA00002986264300033
表示
Figure FDA00002986264300034
中与当前第二图像块的坐标位置相同的第二图像块中的所有像素点的像素值的均值，即
Figure FDA00002986264300035
表示
Figure FDA00002986264300036
中坐标位置为(i,j)的第二图像块中的所有像素点的像素值的均值，T2为设定的第二判定阈值；
③-2d、根据当前第二图像块的映射状态
Figure FDA00002986264300037
判断当前第二图像块是运动块还是静止块，如果
Figure FDA00002986264300038
则确定当前第二图像块为运动块，如果
Figure FDA00002986264300039
则确定当前第二图像块为静止块；
③-2e、将
Figure FDA000029862643000310
中下一个待处理的第二图像块作为当前第二图像块，然后返回步骤③-2b继续执行，直至
Figure FDA000029862643000311
中的所有第二图像块均处理完毕，获得
Figure FDA000029862643000312
中的所有运动块和所有静止块。
3.根据权利要求2所述的一种立体视频宏块丢失错误隐藏方法，其特征在于所述的步骤③和所述的步骤④中u×v=8×8。
4.根据权利要求3所述的一种立体视频宏块丢失错误隐藏方法，其特征在于所述的步骤③-1c中设定的第一判定阈值T1=μ1+σ1，其中，μ1表示中的所有像素点的像素值的均值，σ1表示中的所有像素点的像素值的标准差；所述的步骤③-2c中设定的第二判定阈值T2=μ2+σ2，其中，μ2表示
Figure FDA000029862643000315
中的所有像素点的像素值的均值，σ2表示
Figure FDA000029862643000316
中的所有像素点的像素值的标准差。
5.根据权利要求1至4中任一项所述的一种立体视频宏块丢失错误隐藏方法，其特征在于所述的步骤④的具体过程为：
④-1、采用移动帧差法计算
Figure FDA000029862643000317
与
Figure FDA000029862643000318
之间的全局视差矢量，记为Dg， D g = arg min ( &Sigma; ( x , y ) &Element; D | I t - 1 r ( x , y ) - I t - 1 l ( x + d , y ) | ( W - | d | ) &times; H ) , 其中， arg min ( &Sigma; ( x , y ) &Element; D | I t - 1 r ( x , y ) - I t - 1 l ( x + d , y ) | ( W - | d | ) &times; H ) 表示取最小值时位移d的值，D表示
Figure FDA000029862643000322
中宽为W-|d|且高为H的窗口，符号“||”为取绝对值符号，此处1≤x≤W,1≤y≤H且(x,y)∈D，
Figure FDA000029862643000323
表示中坐标位置为(x,y)的像素点的像素值，
Figure FDA000029862643000325
表示
Figure FDA000029862643000326
中坐标位置为(x+d,y)的像素点的像素值，-W/λ1≤d≤W/λ1，λ1表示位移d的判断阈值；
④-2、根据Dg，对
Figure FDA000029862643000327
中的所有运动块进行水平位移，当Dg>0时将
Figure FDA000029862643000328
中的所有运动块向左水平位移GDB列像素，当Dg≤0时将
Figure FDA00002986264300041
中的所有运动块向右水平位移GDB列像素，得到
Figure FDA00002986264300042
对应的掩膜图，记为
Figure FDA00002986264300043
其中，符号
Figure FDA00002986264300045
为向下取整符号，符号“||”为取绝对值符号，u表示
Figure FDA00002986264300046
中的运动块的宽度；
④-3-1、将
Figure FDA00002986264300047
分割成
Figure FDA00002986264300048
个互不重叠的尺寸大小为u×v的图像块，将
Figure FDA00002986264300049
中当前待处理的图像块定义为当前图像块，其中，W表示立体视频中左视点图像和右视点图像的宽度，H表示立体视频中左视点图像和右视点图像的高度；
④-3-2、假设当前图像块为
Figure FDA000029862643000410
中坐标位置为(i,j)的图像块，其中， 1 &le; i &le; W u , 1 &le; j &le; H v ;
④-3-3、根据中与当前图像块的坐标位置相同的第一图像块和
Figure FDA000029862643000413
中与当前图像块的坐标位置相同的第二图像块，确定当前图像块为运动块还是为静止块，如果
Figure FDA000029862643000414
中与当前图像块的坐标位置相同的第一图像块为运动块或
Figure FDA000029862643000415
中与当前图像块的坐标位置相同的第二图像块为运动块，则确定当前图像块为运动块；如果
Figure FDA000029862643000416
中与当前图像块的坐标位置相同的第一图像块和
Figure FDA000029862643000417
中与当前图像块的坐标位置相同的第二图像块均为静止块，则确定当前图像块为静止块；
④-3-4、将
Figure FDA000029862643000418
中下一个待处理的图像块作为当前图像块，然后返回步骤④-3-2继续执行，直至中的所有图像块处理完毕，获得
Figure FDA000029862643000420
中的所有运动块和所有静止块。
6.根据权利要求5所述的一种立体视频宏块丢失错误隐藏方法，其特征在于所述的步骤④-1中取λ1=5。
7.根据权利要求5所述的一种立体视频宏块丢失错误隐藏方法，其特征在于所述的步骤⑤的具体过程为：
⑤-1、根据中的每个图像块，确定
Figure FDA000029862643000422
中的每个宏块为运动宏块还是为静止宏块，对于中坐标位置为(i',j')的宏块MBi',j'，如果MBi',j'内的所有图像块均为静止块，则确定MBi',j'为静止宏块，如果MBi',j'内的所有图像块中至少有一个图像块为运动块，则确定MBi',j'为运动宏块，其中，
Figure FDA00002986264300051
⑤-2、检测出中的所有丢失的宏块，将
Figure FDA00002986264300053
中当前待处理的丢失的宏块定义为当前宏块；
⑤-3、假设当前宏块为
Figure FDA00002986264300054
中坐标位置为(i',j')的宏块MBi',j'，如果当前宏块为静止宏块，则采用直接时域帧拷贝的方法恢复当前宏块的亮度信息和色度信息，然后执行步骤⑤-7；如果当前宏块为运动宏块，则执行步骤⑤-4；
⑤-4、构建当前宏块的候选矢量集，当前宏块的候选矢量集包括当前宏块的上相邻宏块、下相邻宏块、左相邻宏块和右相邻宏块中已正确解码的宏块的运动矢量和视差矢量及
Figure FDA00002986264300055
中与当前宏块的坐标位置相同的宏块的运动矢量和视差矢量；
⑤-5、采用外边界匹配准则，计算当前宏块的候选矢量集中的每个运动矢量和每个视差矢量各自所指向的候选宏块的边界失真值；然后选择边界失真值最小的三个候选宏块，按边界失真值从小到大的顺序分别记为MBopt1、MBopt2和MBopt3；再对MBopt1、MBopt2和MBopt3中的每个像素点的像素值进行加权平均，得到一个加权候选宏块，记为MBwei，将MBwei中坐标位置为(p,q)的像素点的像素值记为mbwei(p,q)， mb wei ( p , q ) = &omega; 1 &times; mb opt 1 ( p , q ) + &omega; 2 &times; mb opt 2 ( p , q ) + &omega; 3 &times; mb opt 3 ( p , q ) &omega; 1 + &omega; 2 + &omega; 3 , 其中，1≤p≤16,1≤q≤16，mbopt1(p,q)表示MBopt1中坐标位置为(p,q)的像素点的像素值，mbopt2(p,q)表示MBopt2中坐标位置为(p,q)的像素点的像素值，mbopt3(p,q)表示MBopt3中坐标位置为(p,q)的像素点的像素值，ω1表示MBopt1的权重，ω2表示MBopt2的权重，ω3表示MBopt3的权重；
⑤-6、采用边界匹配准则，分别计算MBopt1和MBwei的边界失真值；然后根据MBopt1和MBwei的边界失真值，自适应地对当前宏块进行恢复，如果MBopt1的边界失真值或MBwei的边界失真值小于或等于设定的第三判定阈值T3，则当MBopt1的边界失真值小于MBwei的边界失真值时，将MBopt1的亮度信息和色度信息作为当前宏块的亮度信息和色度信息，当MBwei的边界失真值小于MBopt1的边界失真值时，将MBwei的亮度信息和色度信息作为当前宏块的亮度信息和色度信息；如果MBopt1的边界失真值和MBwei的边界失真值均大于设定的第三判定阈值T3，则采用多方向性插值的方法恢复当前宏块的亮度信息和色度信息；
⑤-7、将
Figure FDA00002986264300061
中下一个待处理的丢失的宏块作为当前宏块，然后返回步骤⑤-3继续执行，直至
Figure FDA00002986264300062
中的所有丢失的宏块的亮度信息和色度信息恢复完毕。
8.根据权利要求7所述的一种立体视频宏块丢失错误隐藏方法，其特征在于所述的步骤⑤-5中ω1=5，ω2=4，ω3=3。
9.根据权利要求7所述的一种立体视频宏块丢失错误隐藏方法，其特征在于所述的步骤⑤-6中设定的第三判定阈值T3=20。
CN2013101107938A 2013-03-29 2013-03-29 一种立体视频宏块丢失错误隐藏方法 Pending CN103220533A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2013101107938A CN103220533A (zh) 2013-03-29 2013-03-29 一种立体视频宏块丢失错误隐藏方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2013101107938A CN103220533A (zh) 2013-03-29 2013-03-29 一种立体视频宏块丢失错误隐藏方法

Publications (1)

Publication Number Publication Date
CN103220533A true CN103220533A (zh) 2013-07-24

Family

ID=48817936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2013101107938A Pending CN103220533A (zh) 2013-03-29 2013-03-29 一种立体视频宏块丢失错误隐藏方法

Country Status (1)

Country Link
CN (1) CN103220533A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104427348A (zh) * 2013-09-06 2015-03-18 乐金显示有限公司 用于恢复空间运动矢量的装置和方法
CN104581185A (zh) * 2015-01-20 2015-04-29 宁波大学 一种应用于立体视频切换帧的自适应错误隐藏方法
CN107682705A (zh) * 2017-09-26 2018-02-09 杭州电子科技大学 基于mv‑hevc框架的立体视频b帧错误隐藏方法
CN112908346A (zh) * 2019-11-19 2021-06-04 中国移动通信集团山东有限公司 丢包恢复方法及装置、电子设备和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19855502B4 (de) * 1997-12-01 2004-08-26 Samsung Electronics Co., Ltd., Suwon Bewegungsvektorvorhersageverfahren
CN102307304A (zh) * 2011-09-16 2012-01-04 北京航空航天大学 基于图像分割的立体视频右图像整帧丢失的错误隐藏方法
CN102572446A (zh) * 2012-01-10 2012-07-11 宁波大学 一种多视点视频整帧丢失错误隐藏方法
CN102595145A (zh) * 2012-03-13 2012-07-18 宁波大学 一种立体视频整帧丢失错误隐藏方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19855502B4 (de) * 1997-12-01 2004-08-26 Samsung Electronics Co., Ltd., Suwon Bewegungsvektorvorhersageverfahren
CN102307304A (zh) * 2011-09-16 2012-01-04 北京航空航天大学 基于图像分割的立体视频右图像整帧丢失的错误隐藏方法
CN102572446A (zh) * 2012-01-10 2012-07-11 宁波大学 一种多视点视频整帧丢失错误隐藏方法
CN102595145A (zh) * 2012-03-13 2012-07-18 宁波大学 一种立体视频整帧丢失错误隐藏方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XINGUANG XIANG,ET AL: "A joint encoder–decoder error control framework for stereoscopic video coding", 《JOURNAL OF VISUAL COMMUNICATION AND IMAGE REPRESENTATION》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104427348A (zh) * 2013-09-06 2015-03-18 乐金显示有限公司 用于恢复空间运动矢量的装置和方法
CN104427348B (zh) * 2013-09-06 2018-01-16 乐金显示有限公司 用于恢复空间运动矢量的装置和方法
US9872046B2 (en) 2013-09-06 2018-01-16 Lg Display Co., Ltd. Apparatus and method for recovering spatial motion vector
CN104581185A (zh) * 2015-01-20 2015-04-29 宁波大学 一种应用于立体视频切换帧的自适应错误隐藏方法
CN104581185B (zh) * 2015-01-20 2017-12-05 宁波大学 一种应用于立体视频切换帧的自适应错误隐藏方法
CN107682705A (zh) * 2017-09-26 2018-02-09 杭州电子科技大学 基于mv‑hevc框架的立体视频b帧错误隐藏方法
CN107682705B (zh) * 2017-09-26 2020-05-12 杭州电子科技大学 基于mv-hevc框架的立体视频b帧错误隐藏方法
CN112908346A (zh) * 2019-11-19 2021-06-04 中国移动通信集团山东有限公司 丢包恢复方法及装置、电子设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN103237226B (zh) 一种立体视频宏块丢失错误隐藏方法
CN104602028B (zh) 一种立体视频b帧整帧丢失错误隐藏方法
CN102510500B (zh) 一种基于深度信息的多视点立体视频错误隐藏方法
CN102307304B (zh) 基于图像分割的立体视频右图像整帧丢失的错误隐藏方法
CN102572446B (zh) 一种多视点视频整帧丢失错误隐藏方法
CN102595145B (zh) 一种立体视频整帧丢失错误隐藏方法
CN103475884B (zh) 面向hbp编码格式的立体视频b帧整帧丢失错误隐藏方法
CN101355708B (zh) 一种自适应误码掩盖方法
KR100738867B1 (ko) 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법
JP2015525999A (ja) ３ｄビデオ符号化における統一された視差ベクトル導出の方法と装置
CN107682705B (zh) 基于mv-hevc框架的立体视频b帧错误隐藏方法
CN108924568B (zh) 一种基于3d-hevc框架的深度视频错误隐藏方法
Zhu et al. Spatial error concealment for stereoscopic video coding based on pixel matching
CN103220533A (zh) 一种立体视频宏块丢失错误隐藏方法
CN103024402A (zh) 一种自由视点视频整帧丢失错误隐藏方法
CN105306954A (zh) 一种基于视差最小可察觉误差模型的感知立体视频编码
CN101188772A (zh) 一种视频解码的时域错误隐蔽方法
CA2909561C (en) Method and apparatus for advanced temporal residual prediction in three-dimensional video coding
CN108668135B (zh) 一种基于人眼感知的立体视频b帧错误隐藏方法
Xiang et al. A novel error concealment method for stereoscopic video coding
CN111010583B (zh) 一种基于残差分块的自适应多视点视频错误隐藏方法
CN109819230B (zh) 一种基于hevc标准的立体三维视频错误隐藏方法
CN103167291B (zh) 一种基于结构相似度的立体视频整帧丢失错误隐藏方法
CN101370145B (zh) 图像帧的掩盖方法与装置
Xiang et al. Auto-regressive model based error concealment scheme for stereoscopic video coding

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20130724