CN103024402A - 一种自由视点视频整帧丢失错误隐藏方法 - Google Patents

一种自由视点视频整帧丢失错误隐藏方法 Download PDF

Info

Publication number
CN103024402A
CN103024402A CN2012105047645A CN201210504764A CN103024402A CN 103024402 A CN103024402 A CN 103024402A CN 2012105047645 A CN2012105047645 A CN 2012105047645A CN 201210504764 A CN201210504764 A CN 201210504764A CN 103024402 A CN103024402 A CN 103024402A
Authority
CN
China
Prior art keywords
lost frames
value
pixel
coloured image
designated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012105047645A
Other languages
English (en)
Other versions
CN103024402B (zh
Inventor
李福翠
郁梅
蒋刚毅
邵枫
彭宗举
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Luyake Fire Vehicle Manufacturing Co ltd
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201210504764.5A priority Critical patent/CN103024402B/zh
Publication of CN103024402A publication Critical patent/CN103024402A/zh
Application granted granted Critical
Publication of CN103024402B publication Critical patent/CN103024402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种自由视点视频整帧丢失错误隐藏方法，其根据编码预测结构的预测关系，充分利用丢失帧时间域上的前向参考彩色图像和后向参考彩色图像对丢失帧中的每个图像块进行进行双向运动补偿恢复，并针对自由视频系统存在多个视点，充分利用丢失帧视点域上的左向参考彩色图像和右向参考彩色图像对丢失帧中的每个图像块的双向视差补偿恢复，再根据双向运动补偿恢复结果和双向视差补偿恢复结果得到最终的恢复帧，这种恢复方式大大提高了错误隐藏后图像视频的重建质量；另一方面，对丢失帧不仅进行了时域的双向恢复，而且还进行了视点间的双向恢复，双向的视点间的参考信息增加了丢失帧恢复的冗余信息，对自由视点视频重建质量有很大的提高。

Description

一种自由视点视频整帧丢失错误隐藏方法
技术领域
本发明涉及一种视频错误隐藏方法，尤其是涉及一种自由视点视频整帧丢失错误隐藏方法。
背景技术
进入本世纪以来，随着多媒体技术的不断发展，传统的二维视频系统在表现自然场景时，难以满足用户的立体感和视点交互等的需求。自由视点视频系统能够使人们自由地选择视点欣赏场景，给人们身临其境的感觉，因此在影视娱乐、教育、产品展示、医疗和安全监控等领域具有非常广阔的应用前景，是新一代多媒体视频系统的发展方向。通常，自由视点视频系统如图1所示，其主要包括视频捕获（视频采集）、视频编码、视频解码和3D（三维）显示等模块。自由视点视频系统的核心技术是多视点视频信号编解码和实时传输等问题。
多视点视频信号是由多个相机对同一场景不同角度进行拍摄得到的数据，在自由视点视频系统中，多视点视频传输数据量与视点数成正比，相对于单视点视频，多视点视频传输数据量极大，因此必须利用数据间的冗余信息来对其进行高效的压缩编码，这使得编码的多视点视频流对信道差错非常敏感。然而，由于自由视点视频数据通过无线信道、互联网等不可靠信道时，可能会出现比特出错或数据丢包现象，这种错误不仅会对出错帧的视频质量有影响，而且由于多视点视频的预测结构关系，这种错误还将扩散到以出错视点为参考的其它视点后续帧中，会严重影响视频的解码重建质量，导致出现马赛克、黑块、停顿等情况。因此必须对自由视点视频的传输进行有效的差错控制，目前差错控制的技术主要分为三类：基于编码端的差错控制技术、解码端错误隐藏技术、编解码器交互式差错控制技术。由于解码端错误隐藏技术不会增加传输带宽，且时延低，因此其是提高多视点视频传输鲁棒性行之有效的办法。现有的整帧丢失错误隐藏技术集中在单通道视频和双目立体视频中，由于多视点视频大多采用分层B帧（HBP）的预测结构，其预测结构决定了不能将应用于单通道视频或双目立体视频中的错误隐藏技术直接应用到自由视点视频系统中。而现有的多视点视频错误隐藏方法主要集中在部分宏块丢失的情况，恢复的主要过程为通过多个可能的运动矢量估计值到丢失帧的参考帧中恢复出受损宏块的若干个可能的恢复块，然后利用边界匹配准则从这若干个可能的恢复块中找出受损宏块的最佳匹配恢复块作为最终的恢复宏块；然而，对于整帧丢失的情况，没有可用来进行边界匹配的相邻正解解码宏块。
对自由视点视频系统中整帧丢失进行错误隐藏的技术应当有别于现有的单通道视频或双目立体视频中的错误隐藏方法，这是因为：一方面，由于传统的单通道视频或双目立体视频中的错误隐藏方法采用了顺序预测结构（IPPP），因此其丢失帧与前面已解参考帧是紧邻的，其前面正解码帧的诸多信息如运动信息等可以辅助丢失帧的恢复；而如图2所示的分层B帧预测结构由于其高效的压缩性能现已成为自由视点视频系统的主流编码结构，但是分层B帧预测结构中当某些帧丢失时，其可参考的视频帧在时间上离丢失帧相隔可能是好几个时刻，如何对与参考帧长时间隔的丢失帧进行错误隐藏是一个亟需解决的问题；另一方面，与IPPP结构不同的是，HBP结构中丢失帧有时间上前向和后向的双向参考帧，如果当前丢失帧为中间视点，则还有来自左视点和右视点的参考信息。因此，如何充分利用来自时域和视点间的双向冗余信息来提高错误隐藏方法的重建恢复质量，是自由视点视频系统传输过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种自由视点视频整帧丢失错误隐藏方法,其能够有效地提高视频传输的鲁棒性，并能够有效地提高解码端视频数据的重建质量。
本发明解决上述技术问题所采用的技术方案为：一种自由视点视频整帧丢失错误隐藏方法，其特征在于包括以下步骤：
①获取S个参考视点的N个时刻的N×S幅颜色空间为YUV的彩色图像，然后在编码端根据设定的编码预测结构分别对S个参考视点的N个时刻的N×S幅颜色空间为YUV的彩色图像进行编码，再将编码后的N×S幅颜色空间为YUV的彩色图像经网络传输给解码端；在解码端对编码后的N×S幅颜色空间为YUV的彩色图像进行解码，获得解码后的S个参考视点的N个时刻的N×S幅颜色空间为YUV的彩色图像；其中，YUV颜色空间的三个颜色分量的第1个颜色分量为亮度分量并记为Y、第2个颜色分量为第一色度分量并记为U及第3个颜色分量为第二色度分量并记为V；
②假设解码后的第s个参考视点的第t时刻的彩色图像为丢失帧，记为
Figure BDA00002488775400021
并假设丢失帧
Figure BDA00002488775400022
的所有参考彩色图像已正确解码，丢失帧
Figure BDA00002488775400023
的参考彩色图像包括时域上的后向参考彩色图像
Figure BDA00002488775400024
和前向参考彩色图像
Figure BDA00002488775400025
及视点域上的左向参考彩色图像和右向参考彩色图像
Figure BDA00002488775400032
其中，2≤s≤S，s的初始值为2，2≤t≤N,t的初始值为2，i＝1,2,3分别表示YUV颜色空间的第1个颜色分量即亮度分量Y、第2个颜色分量即第一色度分量U及第3个颜色分量即第二色度分量V，(x,y)表示彩色图像中的像素点的坐标位置，表示丢失帧中坐标位置为(x,y)的像素点的第i个颜色分量的值，
Figure BDA00002488775400035
表示第s个参考视点的第t-k时刻的彩色图像
Figure BDA00002488775400036
中坐标位置为(x,y)的像素点的第i个颜色分量的值，
Figure BDA00002488775400037
表示第s个参考视点的第t+k时刻的彩色图像
Figure BDA00002488775400038
中坐标位置为(x,y)的像素点的第i个颜色分量的值，
Figure BDA00002488775400039
表示第s-1个参考视点的第t时刻的彩色图像
Figure BDA000024887754000310
中坐标位置为(x,y)的像素点的第i个颜色分量的值，
Figure BDA000024887754000311
表示第s+1个参考视点的第t时刻的彩色图像
Figure BDA000024887754000312
中坐标位置为(x,y)的像素点的第i个颜色分量的值，1≤k≤L,L表示设定的编码预测结构中一个图像组的长度；
③将丢失帧分割成
Figure BDA000024887754000314
个互不重叠的尺寸大小为m×m的图像块，将丢失帧中的第j个图像块记为Bj，其中，W表示彩色图像的宽度，H表示彩色图像的高度，m的取值由彩色图像的尺寸大小决定，
Figure BDA000024887754000316
④根据丢失帧
Figure BDA000024887754000317
的后向参考彩色图像
Figure BDA000024887754000318
和前向参考彩色图像
Figure BDA000024887754000319
获取丢失帧
Figure BDA000024887754000320
中的每个图像块的运动矢量估计值，将丢失帧
Figure BDA000024887754000321
中的第j个图像块Bj的运动矢量估计值记为
Figure BDA000024887754000322
⑤根据丢失帧
Figure BDA000024887754000323
的左向参考彩色图像
Figure BDA000024887754000324
和右向参考彩色图像
Figure BDA000024887754000325
获取丢失帧
Figure BDA000024887754000326
中的每个图像块的视差矢量估计值，将丢失帧
Figure BDA000024887754000327
中的第j个图像块Bj的视差矢量估计值记为
Figure BDA000024887754000328
⑥利用丢失帧
Figure BDA000024887754000329
中的每个图像块的运动矢量估计值，在丢失帧
Figure BDA000024887754000330
的后向参考彩色图像
Figure BDA00002488775400041
和前向参考彩色图像
Figure BDA00002488775400042
中进行双向运动补偿得到丢失帧
Figure BDA00002488775400043
中的每个图像块的时域恢复块，将丢失帧中的第j个图像块Bj的时域恢复块记为B′Tj；
⑦利用丢失帧
Figure BDA00002488775400045
中的每个图像块的视差矢量估计值，在丢失帧
Figure BDA00002488775400046
的左向参考彩色图像和右向参考彩色图像
Figure BDA00002488775400048
中进行双向视差补偿得到丢失帧中的每个图像块的视点域恢复块，将丢失帧中的第j个图像块Bj的视点域恢复块记为
Figure BDA000024887754000411
⑧根据丢失帧
Figure BDA000024887754000412
中的每个图像块的时域恢复块中的每个像素点的像素值与对应的视点域恢复块中的每个像素点的像素值，计算丢失帧
Figure BDA000024887754000413
中的每个图像块中的每个像素点的像素值，将丢失帧
Figure BDA000024887754000414
中的第j个图像块Bj中的所有像素点的像素值的集合记为
Figure BDA000024887754000415
{ p ^ j ( u , v ) | ( u , v ) ∈ B j } = 0.5 × { p T j ′ ( u , v ) | ( u , v ) ∈ B T j ′ } + 0.5 × { p S j ′ ( u , v ) | ( u , v ) ∈ B S j ′ } , 最后得到丢失帧
Figure BDA000024887754000417
的恢复帧，记为
Figure BDA000024887754000418
其中，
Figure BDA000024887754000419
表示丢失帧
Figure BDA000024887754000420
中的第j个图像块Bj中坐标位置为(u,v)的像素点的像素值，
Figure BDA000024887754000421
表示丢失帧
Figure BDA000024887754000422
中的第j个图像块Bj的时域恢复块B′Tj中坐标位置为(u,v)的像素点的像素值，
Figure BDA000024887754000423
表示丢失帧
Figure BDA000024887754000424
中的第j个图像块Bj的视点域恢复块
Figure BDA000024887754000425
中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m，
Figure BDA000024887754000426
表示丢失帧的恢复帧中坐标位置为(x,y)的像素点的第i个颜色分量的值。
所述的步骤②中丢失帧的后向参考彩色图像
Figure BDA000024887754000430
和前向参考彩色图像
Figure BDA000024887754000431
的确定过程为：
②-1、根据设定的编码预测结构，将设定的编码预测结构中一个长度为L的图像组分成具有M层的分层预测结构，其中，L=2M-1；
②-2、根据丢失帧
Figure BDA00002488775400051
所在的时刻t，确定丢失帧
Figure BDA00002488775400052
所在的层次，假设丢失帧
Figure BDA00002488775400053
所在的层次为第g层，则有：如果t%8为0，则认为丢失帧
Figure BDA00002488775400054
所在的层次g＝1，如果t%4为0且t%8不为0，则认为丢失帧
Figure BDA00002488775400055
所在的层次g＝2，如果t%2为0且t%4和t%8均不为0，则认为丢失帧
Figure BDA00002488775400056
所在的层次g＝3，如果t%2不为0，则认为丢失帧
Figure BDA00002488775400057
所在的层次g＝4，其中，1≤g≤M，在此“%”表示求余运算符号；
②-3、当g=2或g=3或g=4时，令k=2M-g，将第s个参考视点的第t-k时刻的彩色图像
Figure BDA00002488775400058
作为时域上丢失帧
Figure BDA00002488775400059
的后向参考彩色图像，将第s个参考视点的第t+k时刻的彩色图像
Figure BDA000024887754000510
作为时域上丢失帧
Figure BDA000024887754000511
的前向参考彩色图像，其中，k的初始值为1。
所述的步骤③中m的值为16或32或64。
所述的步骤④中丢失帧
Figure BDA000024887754000512
中的第j个图像块Bj的运动矢量估计值
Figure BDA000024887754000513
的获取过程为：
④-1、将丢失帧
Figure BDA000024887754000514
的第j个图像块Bj的左上角像素点的坐标位置记为
Figure BDA000024887754000515
将丢失帧
Figure BDA000024887754000516
的后向参考彩色图像
Figure BDA000024887754000517
中与丢失帧
Figure BDA000024887754000518
中的第j个图像块Bj的坐标位置对应的且尺寸大小为m×m的区域的左上角像素点的坐标位置记为
Figure BDA000024887754000519
将丢失帧
Figure BDA000024887754000520
的前向参考彩色图像
Figure BDA000024887754000521
中与丢失帧
Figure BDA000024887754000522
中的第j个图像块Bj的坐标位置对应的且尺寸大小为m×m的区域的左上角像素点的坐标位置记为
Figure BDA000024887754000523
④-2、将丢失帧
Figure BDA000024887754000524
中的第j个图像块Bj从第t时刻到第t+k时刻的运动位移表示为
Figure BDA000024887754000525
将丢失帧
Figure BDA000024887754000526
中的第j个图像块Bj从第t时刻到第t-k时刻的运动位移表示为
Figure BDA000024887754000527
其中，
Figure BDA000024887754000528
表示在横坐标方向上的位移量，
Figure BDA000024887754000529
表示在纵坐标方向上的位移量，
Figure BDA00002488775400061
Figure BDA00002488775400062
xmax表示在横坐标方向上的最大位移量，ymax表示在纵坐标方向上的最大位移量；然后根据
Figure BDA00002488775400063
获取丢失帧
Figure BDA00002488775400064
的前向参考彩色图像
Figure BDA00002488775400065
中的搜索范围 { ( x B j p + v ^ x j + m , y B j p + v ^ y j + m ) | - x max ≤ v ^ x j ≤ x max , - y max ≤ v ^ y j ≤ y max } , 并记作ΩT1，同样根据获取丢失帧
Figure BDA00002488775400068
的后向参考彩色图像
Figure BDA00002488775400069
中的搜索范围 { ( x B j b - v ^ x j + m , y B j b - v ^ y j + m ) | - x max ≤ v ^ x j ≤ x max , - y max ≤ v ^ y j ≤ y max } , 并记作ΩT2；再计算ΩT1和ΩT2内的所有尺寸大小为m×m的两个区域之间所有像素点的像素值的绝对误差和值，以集合形式记为 { SAD ( v ^ x j , v ^ y j ) | - x max ≤ v ^ x j ≤ x max , - y max ≤ v ^ y j ≤ y max } , SAD ( v ^ x j , v ^ y j ) = Σ ( x , y ) ∈ B j ( I R , t - k , i s ( x - v ^ x j , y - v ^ y j ) - I R , t + k , i s ( x + v ^ x j , y + v ^ y j ) ) , 其中，
Figure BDA000024887754000614
Figure BDA000024887754000615
表示在ΩT1内由位移量所指向的尺寸大小为m×m的区域中的所有像素点的像素值与在ΩT2内由位移量
Figure BDA000024887754000617
所指向的尺寸大小为m×m的区域中的所有像素点的像素值的绝对误差和值，
Figure BDA000024887754000618
表示
Figure BDA000024887754000619
中坐标位置为
Figure BDA000024887754000620
的像素点的第i个颜色分量的值，
Figure BDA000024887754000621
表示
Figure BDA000024887754000622
中坐标位置为
Figure BDA000024887754000623
的像素点的第i个颜色分量的值；
④-3、在
Figure BDA000024887754000624
Figure BDA000024887754000625
中，将使绝对误差和值
Figure BDA000024887754000626
最小的
Figure BDA000024887754000627
作为丢失帧
Figure BDA000024887754000628
中的第j个图像块Bj的运动矢量估计值，记为
Figure BDA000024887754000629
所述的步骤⑤中丢失帧
Figure BDA000024887754000630
中的第j个图像块Bj的视差矢量估计值
Figure BDA000024887754000631
的获取过程为：
⑤-1、将丢失帧
Figure BDA000024887754000632
的第j个图像块Bj的左上角像素点的坐标位置记为将丢失帧
Figure BDA000024887754000634
的左向参考彩色图像
Figure BDA000024887754000635
中与丢失帧
Figure BDA000024887754000636
中的第j个图像块Bj的坐标位置对应的且尺寸大小为m×m的区域的左上角像素点的坐标位置记为
Figure BDA00002488775400071
将丢失帧的右向参考彩色图像
Figure BDA00002488775400073
中与丢失帧
Figure BDA00002488775400074
中的第j个图像块Bj的坐标位置对应的且尺寸大小为m×m的区域的左上角像素点的坐标位置记为
Figure BDA00002488775400075
⑤-2、将丢失帧
Figure BDA00002488775400076
中的第j个图像块Bj在第s个参考视点与第s+1个参考视点之间的视差表示为
Figure BDA00002488775400077
将丢失帧
Figure BDA00002488775400078
中的第j个图像块Bj在第s个参考视点与第s-1个参考视点之间的视差表示为其中，表示在横坐标方向上的位移量，
Figure BDA000024887754000711
表示在纵坐标方向上的位移量，
Figure BDA000024887754000712
xmax表示在横坐标方向上的最大位移量，ymax表示在纵坐标方向上的最大位移量；然后根据
Figure BDA000024887754000714
获取丢失帧
Figure BDA000024887754000715
的右向参考彩色图像
Figure BDA000024887754000716
中的搜索范围 { ( x B j r + d ^ x j + m , y B j r + d ^ y j + m ) | - x max ≤ d ^ x j ≤ x max , - y max ≤ d ^ y j ≤ y max } , 并记作ΩS1，同样根据
Figure BDA000024887754000718
获取丢失帧的左向参考彩色图像
Figure BDA000024887754000720
中的搜索范围 { ( x B j l - d ^ x j + m , y B j l - d ^ y j + m ) | - x max ≤ d ^ x j ≤ x max , - y max ≤ d ^ y j ≤ y max } , 并记作ΩS2；再计算ΩS1和ΩS2内的所有尺寸大小为m×m的两个区域之间所有像素点的像素值的绝对误差和值，以集合形式记为 { SAD ( d ^ x j , d ^ y j ) | - x max ≤ d ^ x j ≤ x max , - y max ≤ d ^ y j ≤ y max } , SAD ( d ^ x j , d ^ y j ) = Σ ( x , v ) ∈ B j ( I R , t , i s - 1 ( x - d ^ x j , y - d ^ x j ) - I R , t , i s + 1 ( x + d ^ x j , y + d ^ x j ) ) , 其中，
Figure BDA000024887754000725
Figure BDA000024887754000726
表示在ΩS1内由位移量
Figure BDA000024887754000727
所指向的尺寸大小为m×m的区域中的所有像素点的像素值与在ΩS2内由位移量所指向的尺寸大小为m×m的区域中的所有像素点的像素值的绝对误差和值，
Figure BDA000024887754000729
表示
Figure BDA000024887754000730
中坐标位置为的像素点的第i个颜色分量的值，
Figure BDA00002488775400081
表示
Figure BDA00002488775400082
中坐标位置为
Figure BDA00002488775400083
的像素点的第i个颜色分量的值；
⑤-3、在
Figure BDA00002488775400084
Figure BDA00002488775400085
中，将使绝对误差和值
Figure BDA00002488775400086
最小的
Figure BDA00002488775400087
作为丢失帧
Figure BDA00002488775400088
中的第j个图像块Bj的视差矢量估计值，记为
Figure BDA00002488775400089
所述的步骤⑥中丢失帧
Figure BDA000024887754000810
中的第j个图像块Bj的时域恢复块B′Tj的获取过程为：
⑥-1、根据丢失帧
Figure BDA000024887754000811
中的第j个图像块Bj的运动矢量估计值
Figure BDA000024887754000812
在丢失帧
Figure BDA000024887754000813
的后向参考彩色图像
Figure BDA000024887754000814
中找出左上角像素点的坐标位置为
Figure BDA000024887754000815
且尺寸大小为m×m的区域，将该区域作为后向最佳匹配区域，并记为
Figure BDA000024887754000816
将后向最佳匹配区域
Figure BDA000024887754000817
中的所有像素点的像素值的集合记为其中，表示后向最佳匹配区域
Figure BDA000024887754000820
中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m；
⑥-2、根据丢失帧中的第j个图像块Bj的运动矢量估计值
Figure BDA000024887754000822
在丢失帧
Figure BDA000024887754000823
的前向参考彩色图像
Figure BDA000024887754000824
中找出左上角像素点的坐标位置为
Figure BDA000024887754000825
且尺寸大小为m×m的区域，将该区域作为前向最佳匹配区域，并记为将前向最佳匹配区域
Figure BDA000024887754000827
中的所有像素点的像素值的集合记为
Figure BDA000024887754000828
其中，
Figure BDA000024887754000829
表示前向最佳匹配区域
Figure BDA000024887754000830
中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m；
⑥-3、根据 { p j b ( u , v ) | ( u , v ) ∈ B ^ j b } 和 { p j p ( u , v ) | ( u , v ) ∈ B ^ j p } , 获取丢失帧
Figure BDA000024887754000833
中的第j个图像块Bj的时域恢复块，记为B′Tj，将B′Tj中的所有像素点的像素值的集合，记为
{ p T j ′ ( u , v ) | ( u , v ) ∈ B T j ′ } ,
{ p T j ′ ( u , v ) | ( u , v ) ∈ B T j ′ } = α × { p j b ( u , v ) | ( u , v ) ∈ B ^ j b } + ( 1 - α ) × { p j p ( u , v ) | ( u , v ) ∈ B ^ j p } , 其中，
Figure BDA00002488775400093
表示丢失帧
Figure BDA00002488775400094
中的第j个图像块Bj的时域恢复块B′Tj中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m，α表示加权系数。
所述的加权系数α取值为0.5。
所述的步骤⑦中丢失帧
Figure BDA00002488775400095
中的第j个图像块Bj的视点域恢复块
Figure BDA00002488775400096
的获取过程为：
⑦-1、根据丢失帧
Figure BDA00002488775400097
中的第j个图像块Bj的视差矢量估计值
Figure BDA00002488775400098
在丢失帧
Figure BDA00002488775400099
的左向参考彩色图像中找出左上角像素点的坐标位置为
Figure BDA000024887754000911
且尺寸大小为m×m的区域，将该区域作为左向最佳匹配区域，并记为
Figure BDA000024887754000912
将左向最佳匹配区域
Figure BDA000024887754000913
中的所有像素点的像素值的集合记为
Figure BDA000024887754000914
其中，
Figure BDA000024887754000915
表示左向最佳匹配区域
Figure BDA000024887754000916
中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m；
⑦-2、根据丢失帧
Figure BDA000024887754000917
中的第j个图像块Bj的视差矢量估计值
Figure BDA000024887754000918
在丢失帧
Figure BDA000024887754000919
的右向参考彩色图像
Figure BDA000024887754000920
中找出左上角像素点的坐标位置为
Figure BDA000024887754000921
且尺寸大小为m×m的区域，将该区域作为右向最佳匹配区域，并记为将右向最佳匹配区域
Figure BDA000024887754000923
中的所有像素点的像素值的集合记为其中，
Figure BDA000024887754000925
表示左向最佳匹配区域
Figure BDA000024887754000926
中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m；
⑦-3、根据 { p j l ( u , v ) | ( u , v ) ∈ B ^ j l } 和 { p j r ( u , v ) | ( u , v ) ∈ B ^ j r } , 获取丢失帧中的第j个图像块Bj的视点域恢复块，记为
Figure BDA000024887754000930
将
Figure BDA000024887754000931
中的所有像素点的像素值的集合，记为 { p S j ′ ( u , v ) | ( u , v ) ∈ B S j ′ } , { p S j ′ ( u , v ) | ( u , v ) ∈ B S j ′ } = α ′ × { p j l ( u , v ) | ( u , v ) ∈ B ^ j l } + { p j r ( u , v ) | ( u , v ) ∈ B ^ j r } , 其中，
Figure BDA00002488775400102
表示丢失帧
Figure BDA00002488775400103
中的第j个图像块Bj的视点域恢复块
Figure BDA00002488775400104
中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m，α'表示加权系数。
所述的加权系数α'取值为0.5。
所述的设定的编码预测结构为HBP编码预测结构。
与现有技术相比，本发明的优点在于：
1）本发明方法根据编码预测结构的预测关系，充分利用丢失帧时间域上的前向参考彩色图像和后向参考彩色图像对丢失帧中的每个图像块进行进行双向运动补偿恢复，并针对自由视频系统存在多个视点，充分利用丢失帧视点域上的左向参考彩色图像和右向参考彩色图像对丢失帧中的每个图像块的双向视差补偿恢复，再根据双向运动补偿恢复结果和双向视差补偿恢复结果得到最终的恢复帧，这种恢复方式大大提高了错误隐藏后图像视频的重建质量。
2）本发明方法对丢失帧不仅进行了时域的双向恢复，而且还进行了视点间的双向恢复，双向的视点间的参考信息增加了丢失帧恢复的冗余信息，对自由视点视频重建质量有很大的提高。
附图说明
图1为典型的三维视频系统的基本组成框图；
图2为HBP编码预测结构的示意图；
图3为一个图像组内各帧的层次关系和参考关系图；
图4为双向运动矢量和双向视差矢量关系图；
图5a为分辨率为1024×768的Lovebird1多视点视频序列图像；
图5b为分辨率为1024×768的LeaveLaptop多视点视频序列图像；
图6a为测试序列Lovebird1在编码量化参数QP＝27时的丢失帧正常解码重建时的图像；
图6b为测试序列Lovebird1中的丢失帧采用经典零运动矢量法恢复得到的恢复帧；
图6c为测试序列Lovebird1中的丢失帧采用本发明方法恢复得到的恢复帧。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种自由视点视频整帧丢失错误隐藏方法，其包括以下步骤：
①获取S个参考视点的N个时刻的N×S幅颜色空间为YUV的彩色图像，然后在编码端根据设定的编码预测结构分别对S个参考视点的N个时刻的N×S幅颜色空间为YUV的彩色图像进行编码，再将编码后的N×S幅颜色空间为YUV的彩色图像经网络传输给解码端；在解码端对编码后的N×S幅颜色空间为YUV的彩色图像进行解码，获得解码后的S个参考视点的N个时刻的N×S幅颜色空间为YUV的彩色图像；其中，YUV颜色空间的三个颜色分量的第1个颜色分量为亮度分量并记为Y、第2个颜色分量为第一色度分量并记为U及第3个颜色分量为第二色度分量并记为V。
在本实施中，要求参考视点至少为三个，即要求S≥3，但考虑到如果参考视点过多，则需要编码压缩的数据量很大，同时会给传输带来很大的压力，因此可要求参考视点的个数为3～8个，即3≤S≤8。
在本实施中，取N≥1；设定的编码预测结构采用公知的HBP编码预测结构，如图2所示。
②假设解码后的第s个参考视点的第t时刻的彩色图像为丢失帧，记为
Figure BDA00002488775400111
并假设丢失帧
Figure BDA00002488775400112
的所有参考彩色图像已正确解码，丢失帧
Figure BDA00002488775400113
的参考彩色图像包括时域上的后向参考彩色图像
Figure BDA00002488775400114
和前向参考彩色图像
Figure BDA00002488775400115
及视点域上的左向参考彩色图像和右向参考彩色图像
Figure BDA00002488775400117
其中，i＝1,2,3分别表示YUV颜色空间的第1个颜色分量即亮度分量Y、第2个颜色分量即第一色度分量U及第3个颜色分量即第二色度分量V，(x,y)表示彩色图像中的像素点的坐标位置，
Figure BDA00002488775400118
表示丢失帧
Figure BDA00002488775400119
中坐标位置为(x,y)的像素点的第i个颜色分量的值，后向参考彩色图像
Figure BDA000024887754001110
和前向参考彩色图像
Figure BDA000024887754001111
均与丢失帧
Figure BDA000024887754001112
在同一视点内且时间上离丢失帧
Figure BDA000024887754001113
最近，左向参考彩色图像
Figure BDA000024887754001114
为视点间离丢失帧
Figure BDA000024887754001115
最近的左视点的彩色图像，右向参考彩色图像为视点间离丢失帧
Figure BDA000024887754001117
最近的右视点的彩色图像，
Figure BDA000024887754001118
表示第s个参考视点的第t-k时刻的彩色图像即丢失帧
Figure BDA000024887754001119
的后向参考彩色图像
Figure BDA00002488775400121
中坐标位置为(x,y)的像素点的第i个颜色分量的值，表示第s个参考视点的第t+k时刻的彩色图像即丢失帧
Figure BDA00002488775400123
的前向参考彩色图像
Figure BDA00002488775400124
中坐标位置为(x,y)的像素点的第i个颜色分量的值，
Figure BDA00002488775400125
表示第s-1个参考视点的第t时刻的彩色图像即丢失帧的左向参考彩色图像
Figure BDA00002488775400127
中坐标位置为(x,y)的像素点的第i个颜色分量的值，
Figure BDA00002488775400128
表示第s+1个参考视点的第t时刻的彩色图像即丢失帧
Figure BDA00002488775400129
的右向参考彩色图像
Figure BDA000024887754001210
中坐标位置为(x,y)的像素点的第i个颜色分量的值，1≤k≤L,L表示设定的编码预测结构中一个图像组的长度。
本实施例中仅对非第1个参考视点、非第1时刻的彩色图像用本发明方法来进行处理，即2≤s≤S，s的初始值为2，2≤t≤N,t的初始值为2。
在此具体实施例中，步骤②中丢失帧
Figure BDA000024887754001211
的后向参考彩色图像
Figure BDA000024887754001212
和前向参考彩色图像
Figure BDA000024887754001213
的确定过程为：
②-1、根据设定的编码预测结构，将设定的编码预测结构中一个长度为L的图像组分成具有M层的分层预测结构，其中，L=2M-1。
由于在公知的HBP编码预测结构中一个图像组的长度L为8，因此可分成具有4层的分层预测结构，即M=4，图3给出了一个图像组的各幅彩色图像的层次关系和参考关系。
②-2、根据丢失帧
Figure BDA000024887754001214
所在的时刻t，确定丢失帧
Figure BDA000024887754001215
所在的层次，假设丢失帧
Figure BDA000024887754001216
所在的层次为第g层，则有：如果t%8为0，则认为丢失帧
Figure BDA000024887754001217
所在的层次g＝1，如果t%4为0且t%8不为0，则认为丢失帧
Figure BDA000024887754001218
所在的层次g＝2，如果t%2为0且t%4和t%8均不为0，则认为丢失帧
Figure BDA000024887754001219
所在的层次g＝3，如果t%2不为0，则认为丢失帧
Figure BDA000024887754001220
所在的层次g＝4，其中，1≤g≤M，在此“%”表示求余运算符号。
②-3、当g=2或g=3或g=4时，令k=2M-g，将第s个参考视点的第t-k时刻的彩色图像
Figure BDA00002488775400131
作为时域上丢失帧
Figure BDA00002488775400132
的后向参考彩色图像，将第s个参考视点的第t+k时刻的彩色图像
Figure BDA00002488775400133
作为时域上丢失帧
Figure BDA00002488775400134
的前向参考彩色图像，其中，k的初始值为1。
由于在分层预测结构中I帧和P帧位于第1层即g=1，而本发明方法仅针对丢失帧为B帧的整帧丢失错误隐藏，因此在本实施例中不考虑丢失帧位于第1层的情况。
③将丢失帧
Figure BDA00002488775400135
分割成
Figure BDA00002488775400136
个互不重叠的尺寸大小为m×m的图像块，将丢失帧
Figure BDA00002488775400137
中的第j个图像块记为Bj，其中，W表示彩色图像的宽度，H表示彩色图像的高度，m的取值由彩色图像的尺寸大小决定，
Figure BDA00002488775400138
在本实施例中，m的值为16或32或64等。在本实施中，根据彩色图像的尺寸大小，m的值可以选择为64、32、或16等，一般如果彩色图像的尺寸较大，则m可取较大的值，反之m可选取较小的值，且由于视频编码中图像块尺寸通常为2的幂次，因此在本实施中m的取值也可选取2的幂次。
④根据丢失帧
Figure BDA00002488775400139
的后向参考彩色图像
Figure BDA000024887754001310
和前向参考彩色图像
Figure BDA000024887754001311
获取丢失帧
Figure BDA000024887754001312
中的每个图像块的运动矢量估计值，将丢失帧
Figure BDA000024887754001313
中的第j个图像块Bj的运动矢量估计值记为
Figure BDA000024887754001314
对于丢失帧
Figure BDA000024887754001315
中的第j个图像块Bj，如图4中的黑色块，由于时域相关性，Bj在后向参考彩色图像
Figure BDA000024887754001316
中存在一个尺寸大小相同的后向映射区域，在前向参考彩色图像中存在一个尺寸大小相同的前向映射区域，且这两个映射区域由于时域相关性将存在极大的相似性。
在此具体实施例中，步骤④中丢失帧
Figure BDA000024887754001318
中的第j个图像块Bj的运动矢量估计值
Figure BDA000024887754001319
的获取过程为：
④-1、将丢失帧
Figure BDA000024887754001320
的第j个图像块Bj的左上角像素点的坐标位置记为
Figure BDA000024887754001321
将丢失帧
Figure BDA000024887754001322
的后向参考彩色图像中与丢失帧
Figure BDA000024887754001324
中的第j个图像块Bj的坐标位置对应的且尺寸大小为m×m的区域的左上角像素点的坐标位置记为
Figure BDA00002488775400141
将丢失帧
Figure BDA00002488775400142
的前向参考彩色图像
Figure BDA00002488775400143
中与丢失帧中的第j个图像块Bj的坐标位置对应的且尺寸大小为m×m的区域的左上角像素点的坐标位置记为
④-2、假设获取的S个参考视点的N个时刻的N×S幅颜色空间为YUV的彩色图像中的运动对象在从第t-k时刻到第t+k时刻是匀速的，因此可将丢失帧
Figure BDA00002488775400146
中的第j个图像块Bj从第t时刻到第t+k时刻的运动位移表示为
Figure BDA00002488775400147
将丢失帧
Figure BDA00002488775400148
中的第j个图像块Bj从第t时刻到第t-k时刻的运动位移表示为其中，
Figure BDA000024887754001410
表示在横坐标方向上的位移量，
Figure BDA000024887754001411
表示在纵坐标方向上的位移量，
Figure BDA000024887754001413
xmax表示在横坐标方向上的最大位移量，ymax表示在纵坐标方向上的最大位移量；然后根据
Figure BDA000024887754001414
获取丢失帧的前向参考彩色图像
Figure BDA000024887754001416
中的搜索范围 { ( x B j p + v ^ x j + m , y B j p + v ^ y j + m ) | - x max ≤ v ^ x j ≤ x max , - y max ≤ v ^ y j ≤ y max } , 并记作ΩT1，同样根据
Figure BDA000024887754001418
获取丢失帧
Figure BDA000024887754001419
的后向参考彩色图像中的搜索范围 { ( x B j b - v ^ x j + m , y B j b - v ^ y j + m ) | - x max ≤ v ^ x j ≤ x max , - y max ≤ v ^ y j ≤ y max } , 并记作ΩT2；再计算ΩT1和ΩT2内的所有尺寸大小为m×m的两个区域之间所有像素点的像素值的绝对误差和值，以集合形式记为 { SAD ( v ^ x j , v ^ y j ) | - x max ≤ v ^ x j ≤ x max , - y max ≤ v ^ y j ≤ y max } , SAD ( v ^ x j , v ^ y j ) = Σ ( x , y ) ∈ B j ( I R , t - k , i s ( x - v ^ x j , y - v ^ y j ) - I R , t + k , i s ( x + v ^ x j , y + v ^ y j ) ) , 其中，
Figure BDA000024887754001424
Figure BDA000024887754001425
Figure BDA000024887754001426
表示在ΩT1内由位移量
Figure BDA000024887754001427
所指向的尺寸大小为m×m的区域中的所有像素点的像素值与在ΩT2内由位移量
Figure BDA000024887754001428
所指向的尺寸大小为m×m的区域中的所有像素点的像素值的绝对误差和值，
Figure BDA00002488775400151
表示中坐标位置为
Figure BDA00002488775400153
的像素点的第i个颜色分量的值，表示
Figure BDA00002488775400155
中坐标位置为
Figure BDA00002488775400156
的像素点的第i个颜色分量的值。
在本实施中，xmax的值为2的幂次，如可取4、8、16等值，在实际取值中可根据处理的图像的尺寸大小进行选择，一般情况下处理的图像的尺寸小一点，就取值小一点， y max = x max 2 .
④-3、在
Figure BDA00002488775400158
中，将使绝对误差和值
Figure BDA000024887754001510
最小的
Figure BDA000024887754001511
作为丢失帧
Figure BDA000024887754001512
中的第j个图像块Bj的运动矢量估计值，记为
Figure BDA000024887754001513
⑤根据丢失帧
Figure BDA000024887754001514
的左向参考彩色图像和右向参考彩色图像
Figure BDA000024887754001516
获取丢失帧
Figure BDA000024887754001517
中的每个图像块的视差矢量估计值，将丢失帧
Figure BDA000024887754001518
中的第j个图像块Bj的视差矢量估计值记为
Figure BDA000024887754001519
对于丢失帧
Figure BDA000024887754001520
中的第j个图像块Bj，如图4中的黑色块，由于自由视点多个视点间存在较大的相关性，Bj在左向参考彩色图像
Figure BDA000024887754001521
中存在一个尺寸大小相同的左向映射区域，在右向参考彩色图像
Figure BDA000024887754001522
中存在一个尺寸大小相同的右向映射区域，且这两个映射区域由于视点域的空间相关性将存在极大的相似性。
在此具体实施例中，步骤⑤中丢失帧
Figure BDA000024887754001523
中的第j个图像块Bj的视差矢量估计值
Figure BDA000024887754001524
的获取过程为：
⑤-1、将丢失帧
Figure BDA000024887754001525
的第j个图像块Bj的左上角像素点的坐标位置记为
Figure BDA000024887754001526
将丢失帧
Figure BDA000024887754001527
的左向参考彩色图像
Figure BDA000024887754001528
中与丢失帧中的第j个图像块Bj的坐标位置对应的且尺寸大小为m×m的区域的左上角像素点的坐标位置记为将丢失帧的右向参考彩色图像
Figure BDA000024887754001532
中与丢失帧
Figure BDA000024887754001533
中的第j个图像块Bj的坐标位置对应的且尺寸大小为m×m的区域的左上角像素点的坐标位置记为
Figure BDA00002488775400161
⑤-2、假设多视点数据是通过平行相机获取的，如果运动对象在第s个视点与第s+1个视点间的视差为
Figure BDA00002488775400162
则该运动对象在第s个视点与第s-1个视点之间的视差则为
Figure BDA00002488775400163
因此将丢失帧
Figure BDA00002488775400164
中的第j个图像块Bj在第s个参考视点与第s+1个参考视点之间的视差表示为将丢失帧
Figure BDA00002488775400166
中的第j个图像块Bj在第s个参考视点与第s-1个参考视点之间的视差表示为其中，表示在横坐标方向上的位移量，
Figure BDA00002488775400169
表示在纵坐标方向上的位移量，
Figure BDA000024887754001610
Figure BDA000024887754001611
xmax表示在横坐标方向上的最大位移量，ymax表示在纵坐标方向上的最大位移量；然后根据
Figure BDA000024887754001612
获取丢失帧
Figure BDA000024887754001613
的右向参考彩色图像
Figure BDA000024887754001614
中的搜索范围 { ( x B j r + d ^ x j + m , y B j r + d ^ y j + m ) | - x max ≤ d ^ x j ≤ x max , - y max ≤ d ^ y j ≤ y max } , 并记作ΩS1，同样根据
Figure BDA000024887754001616
获取丢失帧
Figure BDA000024887754001617
的左向参考彩色图像
Figure BDA000024887754001618
中的搜索范围 { ( x B j l - d ^ x j + m , y B j l - d ^ y j + m ) | - x max ≤ d ^ x j ≤ x max , - y max ≤ d ^ y j ≤ y max } , 并记作ΩS2；再计算ΩS1和ΩS2内的所有尺寸大小为m×m的两个区域之间所有像素点的像素值的绝对误差和值，以集合形式记为 { SAD ( d ^ x j , d ^ y j ) | - x max ≤ d ^ x j ≤ x max , - y max ≤ d ^ y j ≤ y max } , SAD ( d ^ x j , d ^ y j ) = Σ ( x , v ) ∈ B j ( I R , t , i s - 1 ( x - d ^ x j , y - d ^ x j ) - I R , t , i s + 1 ( x + d ^ x j , y + d ^ x j ) ) , 其中
Figure BDA000024887754001622
Figure BDA000024887754001623
Figure BDA000024887754001624
表示在ΩS1内由位移量
Figure BDA000024887754001625
所指向的尺寸大小为m×m的区域中的所有像素点的像素值与在ΩS2内由位移量所指向的尺寸大小为m×m的区域中的所有像素点的像素值的绝对误差和值，
Figure BDA000024887754001627
表示
Figure BDA000024887754001628
中坐标位置为
Figure BDA000024887754001629
的像素点的第i个颜色分量的值，
Figure BDA000024887754001630
表示
Figure BDA000024887754001631
中坐标位置为
Figure BDA000024887754001632
的像素点的第i个颜色分量的值。
在本实施例中，xmax的值为2的幂次，如可取4、8、16等值，在实际取值中可根据处理的图像的尺寸大小进行选择，一般情况下处理的图像的尺寸小一点，就取值小一点， y max = x max 2 .
⑤-3、在
Figure BDA00002488775400172
Figure BDA00002488775400173
中，将使绝对误差和值
Figure BDA00002488775400174
最小的
Figure BDA00002488775400175
作为丢失帧
Figure BDA00002488775400176
中的第j个图像块Bj的视差矢量估计值，记为
Figure BDA00002488775400177
⑥利用丢失帧
Figure BDA00002488775400178
中的每个图像块的运动矢量估计值，在丢失帧
Figure BDA00002488775400179
的后向参考彩色图像
Figure BDA000024887754001710
和前向参考彩色图像
Figure BDA000024887754001711
中进行双向运动补偿得到丢失帧
Figure BDA000024887754001712
中的每个图像块的时域恢复块，将丢失帧
Figure BDA000024887754001713
中的第j个图像块Bj的时域恢复块记为B′Tj。
在此具体实施例中，步骤⑥中丢失帧中的第j个图像块Bj的时域恢复块B'Tj的获取过程为：
⑥-1、根据丢失帧
Figure BDA000024887754001715
中的第j个图像块Bj的运动矢量估计值
Figure BDA000024887754001716
在丢失帧
Figure BDA000024887754001717
的后向参考彩色图像
Figure BDA000024887754001718
中找出左上角像素点的坐标位置为
Figure BDA000024887754001719
且尺寸大小为m×m的区域，将该区域作为后向最佳匹配区域，并记为
Figure BDA000024887754001720
（如图4中所示的），将后向最佳匹配区域中的所有像素点的像素值的集合记为
Figure BDA000024887754001723
其中，表示后向最佳匹配区域
Figure BDA000024887754001725
中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m。
⑥-2、根据丢失帧中的第j个图像块Bj的运动矢量估计值
Figure BDA000024887754001727
在丢失帧
Figure BDA000024887754001728
的前向参考彩色图像
Figure BDA000024887754001729
中找出左上角像素点的坐标位置为
Figure BDA000024887754001730
且尺寸大小为m×m的区域，将该区域作为前向最佳匹配区域，并记为
Figure BDA00002488775400181
（如图4中所示的
Figure BDA00002488775400182
），将前向最佳匹配区域
Figure BDA00002488775400183
中的所有像素点的像素值的集合记为
Figure BDA00002488775400184
其中，表示前向最佳匹配区域
Figure BDA00002488775400186
中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m。
⑥-3、根据 { p j b ( u , v ) | ( u , v ) ∈ B ^ j b } 和 { p j p ( u , v ) | ( u , v ) ∈ B ^ j p } , 获取丢失帧
Figure BDA00002488775400189
中的第j个图像块Bj的时域恢复块，记为B′Tj，将B′Tj中的所有像素点的像素值的集合，记为 { p T j ′ ( u , v ) | ( u , v ) ∈ B T j ′ } , { p T j ′ ( u , v ) | ( u , v ) ∈ B T j ′ } = α × { p j b ( u , v ) | ( u , v ) ∈ B ^ j b } + ( 1 - α ) × { p j p ( u , v ) | ( u , v ) ∈ B ^ j p } , 其中，
Figure BDA000024887754001812
表示丢失帧中的第j个图像块Bj的时域恢复块B′Tj中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m，α表示加权系数，在此α取值为0.5，为了不在恢复过程中根据后向最佳匹配区域和前向最佳匹配区域中的像素点调整加权系数α的值，并折衷考虑计算复杂度和最终的恢复质量，因此取α为0.5。
⑦利用丢失帧
Figure BDA000024887754001814
中的每个图像块的视差矢量估计值，在丢失帧
Figure BDA000024887754001815
的左向参考彩色图像
Figure BDA000024887754001816
和右向参考彩色图像
Figure BDA000024887754001817
中进行双向视差补偿得到丢失帧
Figure BDA000024887754001818
中的每个图像块的视点域恢复块，将丢失帧
Figure BDA000024887754001819
中的第j个图像块Bj的视点域恢复块记为
Figure BDA000024887754001820
在此具体实施例中，步骤⑦中丢失帧
Figure BDA000024887754001821
中的第j个图像块Bj的视点域恢复块
Figure BDA000024887754001822
的获取过程为：
⑦-1、根据丢失帧
Figure BDA000024887754001823
中的第j个图像块Bj的视差矢量估计值
Figure BDA000024887754001824
在丢失帧
Figure BDA000024887754001825
的左向参考彩色图像
Figure BDA000024887754001826
中找出左上角像素点的坐标位置为且尺寸大小为m×m的区域，将该区域作为左向最佳匹配区域，并记为（如图4中所示的
Figure BDA000024887754001829
），将左向最佳匹配区域
Figure BDA000024887754001830
中的所有像素点的像素值的集合记为
Figure BDA000024887754001831
其中，
Figure BDA000024887754001832
表示左向最佳匹配区域中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m。
⑦-2、根据丢失帧
Figure BDA00002488775400191
中的第j个图像块Bj的视差矢量估计值在丢失帧
Figure BDA00002488775400193
的右向参考彩色图像
Figure BDA00002488775400194
中找出左上角像素点的坐标位置为
Figure BDA00002488775400195
且尺寸大小为m×m的区域，将该区域作为右向最佳匹配区域，并记为（如图4中所示的
Figure BDA00002488775400197
），将右向最佳匹配区域
Figure BDA00002488775400198
中的所有像素点的像素值的集合记为
Figure BDA00002488775400199
其中，
Figure BDA000024887754001910
表示左向最佳匹配区域
Figure BDA000024887754001911
中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m。
⑦-3、根据 { p j l ( u , v ) | ( u , v ) ∈ B ^ j l } 和 { p j r ( u , v ) | ( u , v ) ∈ B ^ j r } , 获取丢失帧
Figure BDA000024887754001914
中的第j个图像块Bj的视点域恢复块，记为
Figure BDA000024887754001915
将
Figure BDA000024887754001916
中的所有像素点的像素值的集合，记为 { p S j ′ ( u , v ) | ( u , v ) ∈ B S j ′ } , { p S j ′ ( u , v ) | ( u , v ) ∈ B S j ′ } = α ′ × { p j l ( u , v ) | ( u , v ) ∈ B ^ j l } + { p j r ( u , v ) | ( u , v ) ∈ B ^ j r } , 其中，
Figure BDA000024887754001919
表示丢失帧
Figure BDA000024887754001920
中的第j个图像块Bj的视点域恢复块中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m，α'表示加权系数，在此α'取值为0.5，为了不在恢复过程中根据左向最佳匹配区域和右向最佳匹配区域中的像素点调整加权系数α'的值，并折衷考虑计算复杂度和最终的恢复质量，因此取α'为0.5。
⑧根据丢失帧
Figure BDA000024887754001922
中的每个图像块的时域恢复块中的每个像素点的像素值与对应的视点域恢复块中的每个像素点的像素值，计算丢失帧
Figure BDA000024887754001923
中的每个图像块中的每个像素点的像素值，将丢失帧
Figure BDA000024887754001924
中的第j个图像块Bj中的所有像素点的像素值的集合记为 { p ^ j ( u , v ) | ( u , v ) ∈ B j } = 0.5 × { p T j ′ ( u , v ) | ( u , v ) ∈ B T j ′ } + 0.5 × { p S j ′ ( u , v ) | ( u , v ) ∈ B S j ′ } , 最后得到丢失帧
Figure BDA000024887754001927
的恢复帧，记为其中，
Figure BDA000024887754001929
表示丢失帧
Figure BDA000024887754001930
中的第j个图像块Bj中坐标位置为(u,v)的像素点的像素值，表示丢失帧中的第j个图像块Bj的时域恢复块B′Tj中坐标位置为(u,v)的像素点的像素值，
Figure BDA00002488775400202
表示丢失帧
Figure BDA00002488775400203
中的第j个图像块Bj的视点域恢复块
Figure BDA00002488775400204
中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m，
Figure BDA00002488775400205
表示丢失帧
Figure BDA00002488775400206
的恢复帧
Figure BDA00002488775400207
中坐标位置为(x,y)的像素点的第i个颜色分量的值。
在本实施中，编码预测结构采用图2所示的HBP编码预测结构，编解码平台采用的是JMVC8.3测试平台，一个图像组(GOP)的长度为8，帧率为30fps。测试的两组多视点视频序列如图5a和图5b所示，分别是分辨率为1024×768的Lovebird1和Leavelaptop序列。编码量化参数QP分别为22、27、32下的解码帧进行整帧丢失错误隐藏实验。
表1采用本发明方法与零运动矢量的错误隐藏性能比较
表1给出了本发明方法和经典的零运动矢量方法的错误隐藏对比结果，表1中给出的△PSNR表示本发明方法相对于零运动矢量方法在PSNR（峰值信噪比）上的增益，即ΔPSNR=PSNR本发明-PSNR零运动矢量法。根据表1的数据可知，对于不同的多视点视频序列，本发明方法比零运动矢量方法在恢复的丢失帧的PSNR上要提高0.42dB~4.30dB，表明本发明方法的丢失帧恢复效果明显优于零运动矢量方法的丢失帧恢复效果。
图6a给出了测试序列Lovebird1在QP＝27时的丢失帧正常解码重建时的图像，图6b为采用零运动矢量方法恢复得到的恢复帧，图6c为采用本发明方法恢复得到的恢复帧。在图6a中，两个人挽着手处于两人之间较中间的位置，而很明显，图6b中的两人挽着的手的位置不是在两人中间的位置，而是更靠近男主角，有一定的位置偏移现象；而图6c所示的采用本发明方法错误隐藏得到的图像中两人挽着手的位置与图6a中对应位置的主观感知效果基本一致。

Claims (10)

1.一种自由视点视频整帧丢失错误隐藏方法，其特征在于包括以下步骤：
①获取S个参考视点的N个时刻的N×S幅颜色空间为YUV的彩色图像，然后在编码端根据设定的编码预测结构分别对S个参考视点的N个时刻的N×S幅颜色空间为YUV的彩色图像进行编码，再将编码后的N×S幅颜色空间为YUV的彩色图像经网络传输给解码端；在解码端对编码后的N×S幅颜色空间为YUV的彩色图像进行解码，获得解码后的S个参考视点的N个时刻的N×S幅颜色空间为YUV的彩色图像；其中，YUV颜色空间的三个颜色分量的第1个颜色分量为亮度分量并记为Y、第2个颜色分量为第一色度分量并记为U及第3个颜色分量为第二色度分量并记为V；
②假设解码后的第s个参考视点的第t时刻的彩色图像为丢失帧，记为
Figure FDA00002488775300011
并假设丢失帧的所有参考彩色图像已正确解码，丢失帧
Figure FDA00002488775300013
的参考彩色图像包括时域上的后向参考彩色图像
Figure FDA00002488775300014
和前向参考彩色图像
Figure FDA00002488775300015
及视点域上的左向参考彩色图像
Figure FDA00002488775300016
和右向参考彩色图像
Figure FDA00002488775300017
其中，2≤s≤S，s的初始值为2，2≤t≤N,t的初始值为2，i＝1,2,3分别表示YUV颜色空间的第1个颜色分量即亮度分量Y、第2个颜色分量即第一色度分量U及第3个颜色分量即第二色度分量V，(x,y)表示彩色图像中的像素点的坐标位置，
Figure FDA00002488775300018
表示丢失帧中坐标位置为(x,y)的像素点的第i个颜色分量的值，
Figure FDA000024887753000110
表示第s个参考视点的第t-k时刻的彩色图像
Figure FDA000024887753000111
中坐标位置为(x,y)的像素点的第i个颜色分量的值，
Figure FDA000024887753000112
表示第s个参考视点的第t+k时刻的彩色图像
Figure FDA000024887753000113
中坐标位置为(x,y)的像素点的第i个颜色分量的值，
Figure FDA000024887753000114
表示第s-1个参考视点的第t时刻的彩色图像
Figure FDA000024887753000115
中坐标位置为(x,y)的像素点的第i个颜色分量的值，表示第s+1个参考视点的第t时刻的彩色图像
Figure FDA000024887753000117
中坐标位置为(x,y)的像素点的第i个颜色分量的值，1≤k≤L,L表示设定的编码预测结构中一个图像组的长度；
③将丢失帧
Figure FDA000024887753000118
分割成
Figure FDA000024887753000119
个互不重叠的尺寸大小为m×m的图像块，将丢失帧中的第j个图像块记为Bj，其中，W表示彩色图像的宽度，H表示彩色图像的高度，m的取值由彩色图像的尺寸大小决定，
Figure FDA00002488775300022
④根据丢失帧
Figure FDA00002488775300023
的后向参考彩色图像
Figure FDA00002488775300024
和前向参考彩色图像
Figure FDA00002488775300025
获取丢失帧
Figure FDA00002488775300026
中的每个图像块的运动矢量估计值，将丢失帧
Figure FDA00002488775300027
中的第j个图像块Bj的运动矢量估计值记为
Figure FDA00002488775300028
⑤根据丢失帧
Figure FDA00002488775300029
的左向参考彩色图像
Figure FDA000024887753000210
和右向参考彩色图像
Figure FDA000024887753000211
获取丢失帧
Figure FDA000024887753000212
中的每个图像块的视差矢量估计值，将丢失帧
Figure FDA000024887753000213
中的第j个图像块Bj的视差矢量估计值记为
Figure FDA000024887753000214
⑥利用丢失帧中的每个图像块的运动矢量估计值，在丢失帧
Figure FDA000024887753000216
的后向参考彩色图像
Figure FDA000024887753000217
和前向参考彩色图像
Figure FDA000024887753000218
中进行双向运动补偿得到丢失帧
Figure FDA000024887753000219
中的每个图像块的时域恢复块，将丢失帧
Figure FDA000024887753000220
中的第j个图像块Bj的时域恢复块记为B′Tj；
⑦利用丢失帧
Figure FDA000024887753000221
中的每个图像块的视差矢量估计值，在丢失帧
Figure FDA000024887753000222
的左向参考彩色图像
Figure FDA000024887753000223
和右向参考彩色图像
Figure FDA000024887753000224
中进行双向视差补偿得到丢失帧
Figure FDA000024887753000225
中的每个图像块的视点域恢复块，将丢失帧
Figure FDA000024887753000226
中的第j个图像块Bj的视点域恢复块记为
Figure FDA000024887753000227
⑧根据丢失帧中的每个图像块的时域恢复块中的每个像素点的像素值与对应的视点域恢复块中的每个像素点的像素值，计算丢失帧
Figure FDA000024887753000229
中的每个图像块中的每个像素点的像素值，将丢失帧
Figure FDA000024887753000230
中的第j个图像块Bj中的所有像素点的像素值的集合记为
Figure FDA000024887753000231
{ p ^ j ( u , v ) | ( u , v ) ∈ B j } = 0.5 × { p T j ′ ( u , v ) | ( u , v ) ∈ B T j ′ } + 0.5 × { p S j ′ ( u , v ) | ( u , v ) ∈ B S j ′ } , 最后得到丢失帧
Figure FDA00002488775300031
的恢复帧，记为
Figure FDA00002488775300032
其中，
Figure FDA00002488775300033
表示丢失帧
Figure FDA00002488775300034
中的第j个图像块Bj中坐标位置为(u,v)的像素点的像素值，
Figure FDA00002488775300035
表示丢失帧
Figure FDA00002488775300036
中的第j个图像块Bj的时域恢复块B′Tj中坐标位置为(u,v)的像素点的像素值，
Figure FDA00002488775300037
表示丢失帧
Figure FDA00002488775300038
中的第j个图像块Bj的视点域恢复块
Figure FDA00002488775300039
中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m，表示丢失帧
Figure FDA000024887753000311
的恢复帧
Figure FDA000024887753000312
中坐标位置为(x,y)的像素点的第i个颜色分量的值。
2.根据权利要求1所述的一种自由视点视频整帧丢失错误隐藏方法，其特征在于所述的步骤②中丢失帧
Figure FDA000024887753000313
的后向参考彩色图像
Figure FDA000024887753000314
和前向参考彩色图像
Figure FDA000024887753000315
的确定过程为：
②-1、根据设定的编码预测结构，将设定的编码预测结构中一个长度为L的图像组分成具有M层的分层预测结构，其中，L=2M-1；
②-2、根据丢失帧
Figure FDA000024887753000316
所在的时刻t，确定丢失帧所在的层次，假设丢失帧
Figure FDA000024887753000318
所在的层次为第g层，则有：如果t%8为0，则认为丢失帧
Figure FDA000024887753000319
所在的层次g＝1，如果t%4为0且t%8不为0，则认为丢失帧
Figure FDA000024887753000320
所在的层次g＝2，如果t%2为0且t%4和t%8均不为0，则认为丢失帧
Figure FDA000024887753000321
所在的层次g＝3，如果t%2不为0，则认为丢失帧所在的层次g＝4，其中，1≤g≤M，在此“%”表示求余运算符号；
②-3、当g=2或g=3或g=4时，令k=2M-g，将第s个参考视点的第t-k时刻的彩色图像
Figure FDA000024887753000323
作为时域上丢失帧
Figure FDA000024887753000324
的后向参考彩色图像，将第s个参考视点的第t+k时刻的彩色图像
Figure FDA000024887753000325
作为时域上丢失帧
Figure FDA000024887753000326
的前向参考彩色图像，其中，k的初始值为1。
3.根据权利要求1或2所述的一种自由视点视频整帧丢失错误隐藏方法，其特征在于所述的步骤③中m的值为16或32或64。
4.根据权利要求3所述的一种自由视点视频整帧丢失错误隐藏方法，其特征在于所述的步骤④中丢失帧
Figure FDA00002488775300041
中的第j个图像块Bj的运动矢量估计值
Figure FDA00002488775300042
的获取过程为：
④-1、将丢失帧的第j个图像块Bj的左上角像素点的坐标位置记为
Figure FDA00002488775300044
将丢失帧
Figure FDA00002488775300045
的后向参考彩色图像
Figure FDA00002488775300046
中与丢失帧
Figure FDA00002488775300047
中的第j个图像块Bj的坐标位置对应的且尺寸大小为m×m的区域的左上角像素点的坐标位置记为将丢失帧的前向参考彩色图像中与丢失帧
Figure FDA000024887753000411
中的第j个图像块Bj的坐标位置对应的且尺寸大小为m×m的区域的左上角像素点的坐标位置记为
Figure FDA000024887753000412
④-2、将丢失帧中的第j个图像块Bj从第t时刻到第t+k时刻的运动位移表示为
Figure FDA000024887753000414
将丢失帧
Figure FDA000024887753000415
中的第j个图像块Bj从第t时刻到第t-k时刻的运动位移表示为
Figure FDA000024887753000416
其中，表示在横坐标方向上的位移量，表示在纵坐标方向上的位移量，
Figure FDA000024887753000419
Figure FDA000024887753000420
xmax表示在横坐标方向上的最大位移量，ymax表示在纵坐标方向上的最大位移量；然后根据
Figure FDA000024887753000421
获取丢失帧的前向参考彩色图像
Figure FDA000024887753000423
中的搜索范围 { ( x B j p - v ^ x j + m , y B j p - v ^ y j + m ) | - x max ≤ v ^ x j ≤ x max , - y max ≤ v ^ y j ≤ y max } , 并记作ΩT1，同样根据
Figure FDA000024887753000425
获取丢失帧
Figure FDA000024887753000426
的后向参考彩色图像中的搜索范围 { ( x B j b - v ^ x j + m , y B j b - v ^ y j + m ) | - x max ≤ v ^ x j ≤ x max , - y max ≤ v ^ y j ≤ y max } , 并记作ΩT2；再计算ΩT1和ΩT2内的所有尺寸大小为m×m的两个区域之间所有像素点的像素值的绝对误差和值，以集合形式记为 { SAD ( v ^ x j , v ^ y j ) | - x max ≤ v ^ x j ≤ x max , - y max ≤ v ^ y j ≤ y max } , SAD ( v ^ x j , v ^ y j ) = Σ ( x , y ) ∈ B j ( I R , t - k , i s ( x - v ^ x j , y - v ^ y j ) - I R , t + k , i s ( x + v ^ x j , y + v ^ y j ) ) , 其中，
Figure FDA00002488775300051
Figure FDA00002488775300052
Figure FDA00002488775300053
表示在ΩT1内由位移量
Figure FDA00002488775300054
所指向的尺寸大小为m×m的区域中的所有像素点的像素值与在ΩT2内由位移量
Figure FDA00002488775300055
所指向的尺寸大小为m×m的区域中的所有像素点的像素值的绝对误差和值，
Figure FDA00002488775300056
表示
Figure FDA00002488775300057
中坐标位置为
Figure FDA00002488775300058
的像素点的第i个颜色分量的值，
Figure FDA00002488775300059
表示
Figure FDA000024887753000510
中坐标位置为
Figure FDA000024887753000511
的像素点的第i个颜色分量的值；
④-3、在
Figure FDA000024887753000512
中，将使绝对误差和值最小的作为丢失帧
Figure FDA000024887753000516
中的第j个图像块Bj的运动矢量估计值，记为
Figure FDA000024887753000517
5.根据权利要求4所述的一种自由视点视频整帧丢失错误隐藏方法，其特征在于所述的步骤⑤中丢失帧
Figure FDA000024887753000518
中的第j个图像块Bj的视差矢量估计值
Figure FDA000024887753000519
的获取过程为：
⑤-1、将丢失帧的第j个图像块Bj的左上角像素点的坐标位置记为将丢失帧的左向参考彩色图像
Figure FDA000024887753000523
中与丢失帧
Figure FDA000024887753000524
中的第j个图像块Bj的坐标位置对应的且尺寸大小为m×m的区域的左上角像素点的坐标位置记为
Figure FDA000024887753000525
将丢失帧
Figure FDA000024887753000526
的右向参考彩色图像中与丢失帧
Figure FDA000024887753000528
中的第j个图像块Bj的坐标位置对应的且尺寸大小为m×m的区域的左上角像素点的坐标位置记为
⑤-2、将丢失帧
Figure FDA000024887753000530
中的第j个图像块Bj在第s个参考视点与第s+1个参考视点之间的视差表示为将丢失帧
Figure FDA000024887753000532
中的第j个图像块Bj在第s个参考视点与第s-1个参考视点之间的视差表示为
Figure FDA000024887753000533
其中，
Figure FDA000024887753000534
表示在横坐标方向上的位移量，
Figure FDA000024887753000535
表示在纵坐标方向上的位移量，
Figure FDA000024887753000536
Figure FDA000024887753000537
xmax表示在横坐标方向上的最大位移量，ymax表示在纵坐标方向上的最大位移量；然后根据
Figure FDA000024887753000538
获取丢失帧
Figure FDA000024887753000539
的右向参考彩色图像
Figure FDA000024887753000540
中的搜索范围 { ( x B j r + d ^ x j + m , y B j r + d ^ y j + m ) | - x max ≤ d ^ x j ≤ x max , - y max ≤ d ^ y j ≤ y max } , 并记作ΩS1，同样根据
Figure FDA00002488775300062
获取丢失帧
Figure FDA00002488775300063
的左向参考彩色图像中的搜索范围 { ( x B j l - d ^ x j + m , y B j l - d ^ y j + m ) | - x max ≤ d ^ x j ≤ x max , - y max ≤ d ^ y j ≤ y max } , 并记作ΩS2；再计算ΩS1和ΩS2内的所有尺寸大小为m×m的两个区域之间所有像素点的像素值的绝对误差和值，以集合形式记为 { SAD ( d ^ x j , d ^ y j ) | - x max ≤ d ^ x j ≤ x max , - y max ≤ d ^ y j ≤ y max } , SAD ( d ^ x j , d ^ y j ) = Σ ( x , v ) ∈ B j ( I R , t , i s - 1 ( x - d ^ x j , y - d ^ x j ) - I R , t , i s + 1 ( x + d ^ x j , y + d ^ x j ) ) , 其中，
Figure FDA00002488775300068
Figure FDA00002488775300069
Figure FDA000024887753000610
表示在ΩS1内由位移量
Figure FDA000024887753000611
所指向的尺寸大小为m×m的区域中的所有像素点的像素值与在ΩS2内由位移量
Figure FDA000024887753000612
所指向的尺寸大小为m×m的区域中的所有像素点的像素值的绝对误差和值，
Figure FDA000024887753000613
表示
Figure FDA000024887753000614
中坐标位置为
Figure FDA000024887753000615
的像素点的第i个颜色分量的值，
Figure FDA000024887753000616
表示
Figure FDA000024887753000617
中坐标位置为
Figure FDA000024887753000618
的像素点的第i个颜色分量的值；
⑤-3、在
Figure FDA000024887753000619
Figure FDA000024887753000620
中，将使绝对误差和值
Figure FDA000024887753000621
最小的作为丢失帧
Figure FDA000024887753000623
中的第j个图像块Bj的视差矢量估计值，记为
6.根据权利要求5所述的一种自由视点视频整帧丢失错误隐藏方法，其特征在于所述的步骤⑥中丢失帧中的第j个图像块Bj的时域恢复块B′Tj的获取过程为：
⑥-1、根据丢失帧
Figure FDA000024887753000626
中的第j个图像块Bj的运动矢量估计值在丢失帧
Figure FDA000024887753000628
的后向参考彩色图像
Figure FDA000024887753000629
中找出左上角像素点的坐标位置为
Figure FDA000024887753000630
且尺寸大小为m×m的区域，将该区域作为后向最佳匹配区域，并记为
Figure FDA00002488775300071
将后向最佳匹配区域
Figure FDA00002488775300072
中的所有像素点的像素值的集合记为
Figure FDA00002488775300073
其中，
Figure FDA00002488775300074
表示后向最佳匹配区域
Figure FDA00002488775300075
中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m；
⑥-2、根据丢失帧
Figure FDA00002488775300076
中的第j个图像块Bj的运动矢量估计值
Figure FDA00002488775300077
在丢失帧
Figure FDA00002488775300078
的前向参考彩色图像
Figure FDA00002488775300079
中找出左上角像素点的坐标位置为
Figure FDA000024887753000710
且尺寸大小为m×m的区域，将该区域作为前向最佳匹配区域，并记为
Figure FDA000024887753000711
将前向最佳匹配区域
Figure FDA000024887753000712
中的所有像素点的像素值的集合记为其中，
Figure FDA000024887753000714
表示前向最佳匹配区域
Figure FDA000024887753000715
中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m；
⑥-3、根据 { p j b ( u , v ) | ( u , v ) ∈ B ^ j b } 和 { p j p ( u , v ) | ( u , v ) ∈ B ^ j p } , 获取丢失帧
Figure FDA000024887753000718
中的第j个图像块Bj的时域恢复块，记为B′Tj，将B′Tj中的所有像素点的像素值的集合，记为 { p T j ′ ( u , v ) | ( u , v ) ∈ B T j ′ } , { p T j ′ ( u , v ) | ( u , v ) ∈ B T j ′ } = α × { p j b ( u , v ) | ( u , v ) ∈ B ^ j b } + ( 1 - α ) × { p j p ( u , v ) | ( u , v ) ∈ B ^ j p } , 其中，
Figure FDA000024887753000721
表示丢失帧
Figure FDA000024887753000722
中的第j个图像块Bj的时域恢复块B′Tj中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m，α表示加权系数。
7.根据权利要求6所述的一种自由视点视频整帧丢失错误隐藏方法，其特征在于所述的加权系数α取值为0.5。
8.根据权利要求6所述的一种自由视点视频整帧丢失错误隐藏方法，其特征在于所述的步骤⑦中丢失帧中的第j个图像块Bj的视点域恢复块
Figure FDA000024887753000724
的获取过程为：
⑦-1、根据丢失帧
Figure FDA000024887753000725
中的第j个图像块Bj的视差矢量估计值
Figure FDA000024887753000726
在丢失帧
Figure FDA000024887753000727
的左向参考彩色图像
Figure FDA000024887753000728
中找出左上角像素点的坐标位置为
Figure FDA00002488775300081
且尺寸大小为m×m的区域，将该区域作为左向最佳匹配区域，并记为
Figure FDA00002488775300082
将左向最佳匹配区域
Figure FDA00002488775300083
中的所有像素点的像素值的集合记为
Figure FDA00002488775300084
其中，
Figure FDA00002488775300085
表示左向最佳匹配区域
Figure FDA00002488775300086
中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m；
⑦-2、根据丢失帧
Figure FDA00002488775300087
中的第j个图像块Bj的视差矢量估计值
Figure FDA00002488775300088
在丢失帧
Figure FDA00002488775300089
的右向参考彩色图像
Figure FDA000024887753000810
中找出左上角像素点的坐标位置为且尺寸大小为m×m的区域，将该区域作为右向最佳匹配区域，并记为
Figure FDA000024887753000812
将右向最佳匹配区域
Figure FDA000024887753000813
中的所有像素点的像素值的集合记为
Figure FDA000024887753000814
其中，
Figure FDA000024887753000815
表示左向最佳匹配区域
Figure FDA000024887753000816
中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m；
⑦-3、根据 { p j l ( u , v ) | ( u , v ) ∈ B ^ j l } 和 { p j r ( u , v ) | ( u , v ) ∈ B ^ j r } , 获取丢失帧
Figure FDA000024887753000819
中的第j个图像块Bj的视点域恢复块，记为
Figure FDA000024887753000820
将中的所有像素点的像素值的集合，记为 { p S j ′ ( u , v ) | ( u , v ) ∈ B S j ′ } , { p S j ′ ( u , v ) | ( u , v ) ∈ B S j ′ } = α ′ × { p j l ( u , v ) | ( u , v ) ∈ B ^ j l } + { p j r ( u , v ) | ( u , v ) ∈ B ^ j r } , 其中，表示丢失帧
Figure FDA000024887753000825
中的第j个图像块Bj的视点域恢复块
Figure FDA000024887753000826
中坐标位置为(u,v)的像素点的像素值，1≤u≤m,1≤v≤m，α'表示加权系数。
9.根据权利要求8所述的一种自由视点视频整帧丢失错误隐藏方法，其特征在于所述的加权系数α'取值为0.5。
10.根据权利要求9所述的一种自由视点视频整帧丢失错误隐藏方法，其特征在于所述的设定的编码预测结构为HBP编码预测结构。
CN201210504764.5A 2012-11-29 2012-11-29 一种自由视点视频整帧丢失错误隐藏方法 Active CN103024402B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210504764.5A CN103024402B (zh) 2012-11-29 2012-11-29 一种自由视点视频整帧丢失错误隐藏方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210504764.5A CN103024402B (zh) 2012-11-29 2012-11-29 一种自由视点视频整帧丢失错误隐藏方法

Publications (2)

Publication Number Publication Date
CN103024402A true CN103024402A (zh) 2013-04-03
CN103024402B CN103024402B (zh) 2015-10-28

Family

ID=47972474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210504764.5A Active CN103024402B (zh) 2012-11-29 2012-11-29 一种自由视点视频整帧丢失错误隐藏方法

Country Status (1)

Country Link
CN (1) CN103024402B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103475884A (zh) * 2013-09-12 2013-12-25 宁波大学 面向hbp编码格式的立体视频b帧整帧丢失错误隐藏方法
CN103856782A (zh) * 2014-03-18 2014-06-11 天津大学 基于多视点视频整帧丢失的自适应错误掩盖方法
CN104427348A (zh) * 2013-09-06 2015-03-18 乐金显示有限公司 用于恢复空间运动矢量的装置和方法
CN104602028A (zh) * 2015-01-19 2015-05-06 宁波大学 一种立体视频b帧整帧丢失错误隐藏方法
CN104767993A (zh) * 2015-04-08 2015-07-08 宁波大学 一种基于质降时域加权的立体视频客观质量评价方法
CN106162195A (zh) * 2016-07-05 2016-11-23 宁波大学 一种基于单深度帧内模式的3d‑hevc深度视频信息隐藏方法
CN110827380A (zh) * 2019-09-19 2020-02-21 北京铂石空间科技有限公司 图像的渲染方法、装置、电子设备及计算机可读介质
CN115623206A (zh) * 2019-10-10 2023-01-17 北京达佳互联信息技术有限公司 利用三角分区的视频编解码方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011114755A1 (ja) * 2010-03-16 2011-09-22 シャープ株式会社 多視点画像符号化装置
CN102572446A (zh) * 2012-01-10 2012-07-11 宁波大学 一种多视点视频整帧丢失错误隐藏方法
CN102595145A (zh) * 2012-03-13 2012-07-18 宁波大学 一种立体视频整帧丢失错误隐藏方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011114755A1 (ja) * 2010-03-16 2011-09-22 シャープ株式会社 多視点画像符号化装置
CN102572446A (zh) * 2012-01-10 2012-07-11 宁波大学 一种多视点视频整帧丢失错误隐藏方法
CN102595145A (zh) * 2012-03-13 2012-07-18 宁波大学 一种立体视频整帧丢失错误隐藏方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
周洋，郁梅，蒋刚毅，刘蔚悦，蒋志迪，李福翠: "面向立体视频传输的右视点图像错误隐藏", 《光电子· 激光》 *
孙越，蒋刚毅，邵枫，郁梅，彭宗举，李福翠: "基于区域划分的立体视频整帧丢失错误隐藏新", 《光电子· 激光》 *
费跃, 李福翠, 郁梅: "基于自动多视点显示的立体视频错误隐藏算法", 《杭州电子科技大学学报》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104427348A (zh) * 2013-09-06 2015-03-18 乐金显示有限公司 用于恢复空间运动矢量的装置和方法
CN104427348B (zh) * 2013-09-06 2018-01-16 乐金显示有限公司 用于恢复空间运动矢量的装置和方法
US9872046B2 (en) 2013-09-06 2018-01-16 Lg Display Co., Ltd. Apparatus and method for recovering spatial motion vector
CN103475884A (zh) * 2013-09-12 2013-12-25 宁波大学 面向hbp编码格式的立体视频b帧整帧丢失错误隐藏方法
CN103475884B (zh) * 2013-09-12 2016-08-24 宁波大学 面向hbp编码格式的立体视频b帧整帧丢失错误隐藏方法
CN103856782A (zh) * 2014-03-18 2014-06-11 天津大学 基于多视点视频整帧丢失的自适应错误掩盖方法
CN103856782B (zh) * 2014-03-18 2017-01-11 天津大学 基于多视点视频整帧丢失的自适应错误掩盖方法
CN104602028B (zh) * 2015-01-19 2017-09-29 宁波大学 一种立体视频b帧整帧丢失错误隐藏方法
CN104602028A (zh) * 2015-01-19 2015-05-06 宁波大学 一种立体视频b帧整帧丢失错误隐藏方法
CN104767993A (zh) * 2015-04-08 2015-07-08 宁波大学 一种基于质降时域加权的立体视频客观质量评价方法
CN104767993B (zh) * 2015-04-08 2016-08-24 宁波大学 一种基于质降时域加权的立体视频客观质量评价方法
CN106162195A (zh) * 2016-07-05 2016-11-23 宁波大学 一种基于单深度帧内模式的3d‑hevc深度视频信息隐藏方法
CN106162195B (zh) * 2016-07-05 2018-04-17 宁波大学 一种基于单深度帧内模式的3d‑hevc深度视频信息隐藏方法
CN110827380A (zh) * 2019-09-19 2020-02-21 北京铂石空间科技有限公司 图像的渲染方法、装置、电子设备及计算机可读介质
CN110827380B (zh) * 2019-09-19 2023-10-17 北京铂石空间科技有限公司 图像的渲染方法、装置、电子设备及计算机可读介质
CN115623206A (zh) * 2019-10-10 2023-01-17 北京达佳互联信息技术有限公司 利用三角分区的视频编解码方法和装置
CN115623206B (zh) * 2019-10-10 2024-02-27 北京达佳互联信息技术有限公司 利用三角分区的视频编解码方法和装置

Also Published As

Publication number Publication date
CN103024402B (zh) 2015-10-28

Similar Documents

Publication Publication Date Title
CN103024402B (zh) 一种自由视点视频整帧丢失错误隐藏方法
CN102307304B (zh) 基于图像分割的立体视频右图像整帧丢失的错误隐藏方法
CN101668205B (zh) 基于残差宏块自适应下采样立体视频压缩编码方法
CN102685532B (zh) 自由视点四维空间视频编码系统的编码方法
CN102595145B (zh) 一种立体视频整帧丢失错误隐藏方法
CN106911930A (zh) 一种基于递归卷积神经网络进行压缩感知视频重建的方法
CN102572446B (zh) 一种多视点视频整帧丢失错误隐藏方法
CN103475884B (zh) 面向hbp编码格式的立体视频b帧整帧丢失错误隐藏方法
CN102510500B (zh) 一种基于深度信息的多视点立体视频错误隐藏方法
CN104602028A (zh) 一种立体视频b帧整帧丢失错误隐藏方法
CN103581650B (zh) 双目3d视频转多目3d视频的方法
CN101980538B (zh) 一种基于分形的双目立体视频压缩编解码方法
CN101867816A (zh) 一种基于人眼视觉特性的立体视频非对称压缩编码方法
CN103002306A (zh) 一种深度图像编码方法
CN101990103B (zh) 用于多视点视频编码的方法和装置
CN102710949B (zh) 一种基于视觉感知的立体视频编码方法
CN102271270A (zh) 一种双目立体视频拼接方法及拼接装置
CN102611893B (zh) 基于直方图匹配和sad判决的dmvc边信息融合方法
CN103561255B (zh) 一种裸眼立体显示方法
CN104506871B (zh) 一种基于hevc的3d视频快速编码方法
CN103024381A (zh) 一种基于恰可察觉失真的宏块模式快速选择方法
CN102316323B (zh) 一种快速的双目立体视频分形压缩与解压缩方法
CN102790895A (zh) 一种基于最小二乘的多视点视频编码视点合成预测方法
CN102325254B (zh) 一种立体视频的编、解码方法及装置
CN103856782A (zh) 基于多视点视频整帧丢失的自适应错误掩盖方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20191226

Address after: Room 1,020, Nanxun Science and Technology Pioneering Park, No. 666 Chaoyang Road, Nanxun District, Huzhou City, Zhejiang Province, 313000

Patentee after: Huzhou You Yan Intellectual Property Service Co.,Ltd.

Address before: 315211 Zhejiang Province, Ningbo Jiangbei District Fenghua Road No. 818

Patentee before: Ningbo University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221215

Address after: 276000 NO.119 Jinhu Industrial Park, West Jiefang Road, high tech Zone, Linyi City, Shandong Province

Patentee after: Luyake Fire Vehicle Manufacturing Co.,Ltd.

Address before: 313000 room 1020, science and Technology Pioneer Park, 666 Chaoyang Road, Nanxun Town, Nanxun District, Huzhou, Zhejiang.

Patentee before: Huzhou You Yan Intellectual Property Service Co.,Ltd.