CN110493603B - 一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法 - Google Patents

一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法 Download PDF

Info

Publication number
CN110493603B
CN110493603B CN201910676079.2A CN201910676079A CN110493603B CN 110493603 B CN110493603 B CN 110493603B CN 201910676079 A CN201910676079 A CN 201910676079A CN 110493603 B CN110493603 B CN 110493603B
Authority
CN
China
Prior art keywords
coding
frame
distortion
channel
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910676079.2A
Other languages
English (en)
Other versions
CN110493603A (zh
Inventor
高攀
张莉涓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201910676079.2A priority Critical patent/CN110493603B/zh
Publication of CN110493603A publication Critical patent/CN110493603A/zh
Application granted granted Critical
Publication of CN110493603B publication Critical patent/CN110493603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法，包括：多视点视频编码，视频序列先进行运动视差补偿预测，然后进行编码模式选择；建立端到端失真度模型，在多视点视频序列进行运动视差补偿预测之后，采用虚拟的信道编码器建立端到端的失真度模型；联合信源信道的率失真优化编码，根据失真度模型、虚拟的信道编码器生成的信道参数集以及纠错后的信道丢包率进行联合信源信道的率失真优化，得出的最优信源参数用于编码模式的选择，得出的最优信道参数用于信道编码器的编码。本发明方法能有效地纠正信道错误，并减小传输差错在视点间的扩散，提高多视点视频流的传输鲁棒性，使其更好的适应于有损网络环境下的视频传输。

Description

一种基于联合信源信道的率失真优化的多视点视频传输差错 控制方法
技术领域
本发明属于视频编码和处理领域，具体涉及一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法。
背景技术
多视点/多视角视频压缩在3DTV、自由视点电视(Free Viewpoint TV)、虚拟现实和增强现实等领域具有广泛的应用。多视点视频序列是多个摄像机从不同角度拍摄同一场景得到的一组视频信号。相对单视点视频序列而言，由于视点数量的增加，多视点视频序列需要更大的压缩效率和更高效的传输性能。目前存在的多视点视频编码标准有Multiviewvideo coding(MVC)和Mulitivew High Efficiency Video Coding(MV-HEVC),它们分别是H.264/AVC和HEVC标准在多视角视频压缩方面的扩展。两种多视点视频标准都主要采用分级B帧预测结构，分别利用运动补偿预测和视差补偿预测来消除时域和视点间的冗余性。
目前，在MVC的编码方案研究方面已经取得了大量成果，产生了多种编码结构，适用于不同的多相机视频拍摄的装置。常见的多视点视频编码结构包括日本NTT实验室提出的GoGOP结构，德国Heinrich-Hertz-Institut(HHI)提出的KS_IPP和KS_IBP结构，以及美国三菱公司提出的基于视点合成的VS_MVC结构。这些编码结构相对于多视点联级编码而言，虽然取得较高的编码效率，但是传输过程更容易受到差错的扩散影响。在多视点视频传输过程中，由于网络时延和抖动的对信道影响，视频传输的数据容易发生丢失。由于在视频编码过程中采用了大量的复杂的补偿预测技术，产生的丢包错误将会发生蔓延和扩散。如果非关键帧发生丢包错误，错误将在视点内部沿着预测方向进行扩散；如果在关键帧发生错误，差错将在时域和相邻视点方向进行扩散。这些差错扩散如果不能得到有效地纠正和抑制，解码端的视频重建客观和主观质量将会受到严重影响。
为了提高多视点视频的传输效率，传统的多视点视频传输差错控制方法大部分直接采用单视点中提出的视频差错保护方案依次对每个视点进行鲁棒性编码。这种方法虽然能够在某种程度上提高每个视点的码流的自身容错能力，但是由于在方案设计中缺少对多视点视频编码特性以及多方向差错扩散的综合考虑，该方法往往不能较好的保护和提高多视点三维视频图像的总体重建质量。
发明内容
发明目的：鉴于现有技术的以上缺点，本发明的目的在于提出一种新颖的多视点视频传输差错控制方法，使之不仅能有效地纠正信道错误，还能够减小剩余的传输差错在视点间和视点内的扩散，保护解码重建三维图像的质量，使其更好的适应于有损网络环境下的视频传输。
技术方案：为实现上述发明目的，本发明采用以下技术方案：
一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法，包括以下步骤：
(1)多视点视频编码，视频序列首先进行运动视差补偿预测，然后进行编码模式选择；
(2)建立端到端失真度模型，在多视点视频序列进行运动视差补偿预测之后，采用虚拟信道编码器的信息码元数量和校验位码元数量计算信道丢包率，进而建立端到端的失真度模型；
(3)联合信源信道的率失真优化编码，根据所述失真度模型、所述虚拟的信道编码器生成的信道参数集以及信道丢包率进行联合信源信道的率失真优化，得出的最优信源参数用于编码模式的选择，得出的最优信道参数用于信道编码器的编码。
进一步的，步骤(1)中多视点视频编码主要包括运动视差补偿预测编码和编码模式选择两部分，首先，在视点内时域方向采用可分级的B帧的编码结构，分级B帧的运动视差补偿预测编码中，B帧分为B1帧、B2帧和B3帧三个层次，通过对B1、B2、B3帧的预测，然后做运动向量和残差的编码，完成视点内的运动视差补偿预测编码；其次，视点间在关键帧采用传统的IPPP结构进行预测，在视点间的关键帧的IPPP视差补偿预测编码时，通过在前一个参考视点中寻找和当前视点编码块最匹配的块，利用该块作为预测块，进而编码该块与当前块的残差并进行传输；为了让解码器能够寻找到该匹配块，当前块与匹配块的视差向量也进行熵编码，然后在信道上传输；最后对编码帧的编码块进行编码模式选择。
其中，B1、B2、B3帧的预测具体为：B1帧由两个I帧或者P帧来进行预测，预测的残差和运动向量分别进行熵编码，得到编码的码流在信道上传输；B2帧则由低层次的B1帧和I帧或P帧进行双向预测得到；B3帧则由低层次的B2帧或者B1帧和I帧或P帧进行双向预测得到。
其中，编码模式包括帧内编码和运动视差补偿编码模式。
进一步的，步骤(2)中在运动视差补偿预测编码的基础上，进行多视点传输情况下端到端的失真度估计，假设信道丢包率为p，则视点v第n帧的第i个像素的端到端的预期失真E[d(v,n,i)]为：
Figure GDA0003119026870000031
其中，E[ds(v,n,i)]表示编码像素i信源量化失真，E[dep(vref,rref,i+mv)]表示参考帧中的参考像素的扩散失真度，vref为第rref帧的参考视点，mv表示像素i的运动向量；E[dec(v,n,i)]表示错误掩盖失真；
为了方便计算当前像素预测的后面帧的像素的端到端的预期失真度，当前像素i的预期扩散失真表示为E[dep(v,n,i)]，其进一步可以表示为递推的形式：
Figure GDA0003119026870000032
其中，dec_r(v,n,i)表示编码像素的重建值和掩盖像素重建值的均方差，
Figure GDA0003119026870000033
表示掩盖像素为视点vec中第rec帧的像素
Figure GDA0003119026870000034
带来的扩散失真，其中
Figure GDA0003119026870000035
为估计的运动矢量；
在视点v第n帧的第i个像素的端到端的预期失真E[d(v,n,i)]公式的基础上，视点v第n帧的宏块m的端到端的失真度进而表示为：
Figure GDA0003119026870000036
其中，编码像素位于非关键帧时，用时域的扩散失真度dtep(v,n,i)来计算扩散失真度
Figure GDA0003119026870000037
在多视点视频中，非关键帧一般采用分级的B帧结构，这样每个非关键帧都有两个参考帧；由于同时存在两个可以使用的运动补偿预测的像素，分级B帧在传输过程中便有内在抗差错性能；当其中一个参考帧的运动补偿预测像素发生错误时，另外一个参考帧的正确接收的预测像素用来做解码端的运动补偿和重建，此时扩散失真为正确接收的预测像素扩散而来，这种事件的概率为2p(1-p)；当两个参考帧的运动补偿像素都被正确接收的时候，此时扩散失真为两个运动补偿像素的失真度加权得到，这种事件的概率为(1-p)2；当两个参考帧的运动补偿像素都发生错误的时候，此时采用运动掩盖的错误隐藏方法，就是直接拷贝前一个参考帧同样位置的像素的运动向量，这种事件的概率为p2；综合这几种随机事件，得到当前像素的扩散失真为：
Figure GDA0003119026870000041
其中，wr0和wr1为双向预测的前向和后项的权值，mv'为第二个参考帧的运动向量；h为当前帧和参考帧间隔的帧数。
其中，编码像素位于关键帧时，用视差上的扩散失真度ddep(v,n,i)来计算扩散失真度
Figure GDA0003119026870000042
关键帧采用P帧，并采用视差补偿预测去除视点之间的相关性，也就是每个视点的关键帧参考前一个视点的关键帧；所以视点间编码模式的扩散失真为：
Figure GDA0003119026870000043
如果采用参考帧序列list0中第一帧同样位置的重建像素进行恢复，则掩盖像素的扩散失真为：
Figure GDA0003119026870000044
对于帧内编码的像素，因为帧内编码像素空域方向预测带来的扩散失真很小，忽略不计，又由于没有参考像素的扩散失真，则：
Figure GDA0003119026870000045
最后，错误掩盖失真度的计算表示为：
Figure GDA0003119026870000046
其中，dec_o(v,n,i)由原始像素值和掩盖像素在编码端重建值的均方差来度量，可以在编码之后直接获取得到，而
Figure GDA0003119026870000047
则由当前像素的预期扩散失真E(dep(v,n,i))的递推形式递推得到。
进一步的，步骤(3)中采用联合信源和信道编码参数的最佳选择优化方法，在RS(Reed-Solomon)保护的情况下，信道丢包率p表示为：
Figure GDA0003119026870000051
其中，ε表示在未进行RS保护前实际的网络丢包率，由上述公式可知，信道编码参数将会影响丢包率，继而影响上述讨论的端到端的失真度，所以端到端的失真度主要由信源编码参数和信道编码参数共同决定的；
假设信道编码参数集为
Figure GDA0003119026870000052
信源编码参数集为
Figure GDA0003119026870000053
其中M表示信息位的码元的数量；N1到Nq表示信息位和校验位码元的总数量，这里总共有q种情况；假设ui和vi分别表示第i个数据包选择的信道编码参数和信源编码参数，则对于某视点的第n帧来说，信道编码参数矢量序列为u＝{u1,u2,…uM}，信源编码参数矢量序列为v＝{v1,v2,…vM}，那么联合信源信道编码的参数选择表示为：
Figure GDA0003119026870000054
其中，Rn表示信道的码率，
Figure GDA0003119026870000055
表示信源的码率，Rbudget表示受限的码率，Dn表示端到端的失真度；
通常来说，这种码率受限的离散优化问题十分难求解，但是，因为各个数据包的失真度基本不相关，则采用拉格朗日松弛解决上述问题，上式的拉格朗日代价表示为：
Figure GDA0003119026870000056
这种拉格朗日凸包解决方案的最优解通过寻找合适的λ得到；当λ正好满足受限的码率的时候，拉格朗日代价公式的解决方案的最优解也就是联合信源信道编码的参数选择公式的解；在这里，采用二分法找到λ；最终，由于各个数据包之间假设相互独立，拉格朗日代价公式进一步简化为：
Figure GDA0003119026870000061
由上式可知，里层的最小化运算通过对各个数据包分别进行最小化，最终得到信源编码参数集；外层的最小化运算通过穷尽搜索法实现，进而得到信道编码参数集；
信源编码参数集中包含了每帧的每个数据包的编码模式，假设数据包i的编码模式通过上式被输出为
Figure GDA0003119026870000062
里面包含了z个宏块的编码模式，这里假设每个宏块的编码模式表示为cmj(1≤j≤z)，则直接把z个编码模式作为这些编码块的编码模式，然后进行量化和熵编码，进而输出码流；同理，直接把得到的信道编码参数集u用于信道编码器进行信道编码。
有益效果：与现有技术相比，本发明方法在进行多视点端到端的失真度估计时，在视频序列具有时域和空域相关性的基础上，考虑了相机视点之间固有的视觉冗余性，并考虑了分级B帧固有的抗差错性能对扩散失真建模的影响。在进行率失真优化时，综合考虑了信源编码参数和信道编码参数对多视点传输性能的整体影响，实现了联合信源和信道的率失真优化编码。该方法能有效地纠正信道丢包发生的错误，并能够显著减小传输差错在视点间的扩散和蔓延，增强多视点视频流的传输鲁棒性，使其更好的适应于有损网络环境下的视频传输。
附图说明
图1为本发明方法流程图；
图2为多视点压缩中采用的KS_IPP预测结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案进行详细说明。
如图1所示，本发明的一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法，首先，在多视点视频序列进行运动视差补偿预测之后，建立端到端的失真度模型，并在失真度模型的基础上结合率失真优化技术进行信源和信道编码参数的联合选择，从而达到纠正信道错误和抑制多视点码流传输过程中差错扩散和蔓延的目的。
失真度模型主要考虑了视频序列之间的本身依赖性(分级B帧的抗差错性能)以及信道的纠错能力。因为本发明提出的是联合信源信道的解决方案，也就是在做失真度估计的时候假设信道编码器的候选参数已知。为了便于理解，我们用虚线框绘制了一个虚拟的信道编码器作为信道参数的输入源，而实际的信道编码器是在做完率失真优化方案之后开始工作的。在获得了估计的失真度和信道参数集之后，我们将采用联合信源信道的率失真优化方案。得出的最优信源参数用于编码模式的选择，得出的最优信道参数用于信道编码器的编码。
具体包括以下步骤：
(1)多视点视频编码，视频序列首先进行运动视差补偿预测，然后进行编码模式选择；
为了减少编码的复杂度但不折损视频编码效率，本发明拟采用德国Heinrich-Hertz-Institut(HHI)提出的一种通用的MVC预测结构，即一种简化的KS_IPP多视点编码预测结构，如图2所示。这种编码结构在编码效率和复杂度之间取的了平衡，具有很强的实用性。除了各视点的关键帧采用了视点间预测外，其余帧均在视点内时域方向采用分级B帧的预测结构。该编码框架与标准的多视点预测框架相比，在编码性能上略有下降，但是复杂度大大降低。编码结构中包含编码视点的个数为8，时域上图像组(Group of Pictures，GOP)的大小为8，即把视频序列的每个视点按照8帧为一个预测组进行划分。在每个GOP中，Vn表示不同的视点，Tn表示时域上的时间点，关键帧为图中加有阴影的各帧。视点内时域方向采用可分级的B帧的编码结构，而视点间在关键帧则采用传统的IPPP结构进行预测。
多视点编码主要包括运动视差补偿预测编码和编码模式选择两部分。在分级B帧的运动补偿预测编码中，B帧分为B1帧，B2帧，和B3帧三个层次。B1帧由两个I帧(或者P帧)来进行预测，预测的残差和运动向量分别进行熵编码，得到编码的码流在信道上传输。B2帧则由低层次的B1帧和I帧(或P帧)进行双向预测得到。类似的，B3帧则由低层次的B2帧(或者B1帧)和I帧(或P帧)进行双向预测得到。通过对B1，B2，B3帧的预测，然后做运动向量和残差的编码，我们就完成了视点内的运动补偿预测编码。在视点间的关键帧的IPPP视差补偿预测编码时，本发明采用传统的P帧预测编码方式，也就是通过在前一个参考视点中寻找和当前视点编码块最匹配的块，利用该块作为预测块，进而编码该块与当前块的残差并进行传输。为了让解码器能够寻找到该匹配块，当前块与匹配块的视差向量也进行熵编码，然后在信道上传输。
在P帧和B帧，由于图像的内容的可变性和多样性，部分区域仍然无法被前面或者后向的帧预测得到，因此可能仍然需要使用自身的帧内编码。并且由于信道可能引起的错误，不同的编码模式可能会有不同的潜在失真度。基于此，在本发明中，为了达到较好的率失真性能，我们对编码帧的编码块进行编码模式选择，可供选择的编码模式有帧内编码和运动视差补偿编码模式(也就是：帧间编码以及视点间编码模式)。某帧的某块采用何种编码方式，具体由“步骤(3)率失真优化的联合信源信道编码”中提出的率失真优化公式进行确定。
(2)端到端失真度数学建模，在多视点视频序列进行运动视差补偿预测之后，采用虚拟信道编码器的信息码元数量和校验位码元数量计算信道丢包率，进而建立端到端的失真度模型；
在通用的KS_IPP多视点编码预测结构下，根据关键帧和非关键帧的差错扩散特性，建立了针对多视点视频传输的端到端的预期失真度估计模型，该模型采用信道保护后的随机丢包概率进行数学建模，综合考虑了分级B帧固有的抗差错性能对扩散失真建模的影响。分级B帧对扩散失真建模的影响表现在：由于分级B帧同时存在两个运动补偿预测帧，当其中一个预测帧传输过程中发生错误时，可以利用另外一个传输正确的预测帧做运动补偿和重建，此时分级B帧便有一定的自身抗差错性能。本发明将根据分级B帧这种自身独有的抗差错性能进行失真度建模。
在运动补偿预测编码的基础上，本发明进行多视点传输情况下端到端的失真度估计，假设信道丢包率为p(该丢包率可以通过FEC码率进行计算，具体方法在步骤(3)中)，则视点v第n帧的第i个像素的端到端的预期失真E[d(v,n,i)]为：
Figure GDA0003119026870000081
其中，E[ds(v,n,i)]表示编码像素i信源量化失真，是编码端的重建像素与原始像素之间的失真，由量化参数(Quantization Parameter,QP)的大小决定；E[dep(vref,rref,i+mv)]表示参考帧中的参考像素的扩散失真度，也就是当前像素未发生丢包错误的时候，由参考像素为视点vref中第rref帧的像素i+mv蔓延带来的失真，其中mv表示像素i的运动向量；E[dec(v,n,i)]表示错误掩盖失真，它是传输过程发生丢包情况下，利用某种错误隐藏或者修复算法带来的误差失真。其中扩散失真和掩盖失真之和通常称为信道的传输失真。
为了方便计算当前像素预测的后面帧的像素的端到端的预期失真度，当前像素的预期扩散失真表示为E[dep(v,n,i)]，其可以进一步表示为递推的形式：
Figure GDA0003119026870000091
其中，dec_r(v,n,i)表示表示编码像素的重建值和掩盖像素重建值的均方差，这个失真可以在编码端通过模拟差错隐藏的方法直接计算得到，也可以通过一般的数学统计模型(如高斯模型)求得。
Figure GDA0003119026870000092
表示掩盖像素为视点vec中第rec帧的像素
Figure GDA0003119026870000093
带来的扩散失真，其中
Figure GDA0003119026870000094
为估计的运动矢量。该矢量一般通过差错隐藏方法可以计算得到。KS_IPP结构中视点0的关键帧为I帧，所以该视点关键帧的像素扩散失真全部为0。其它各帧像素的扩散失真通过已经编码的参考帧和掩盖帧的像素扩散失真递推求得。已经编码像素的扩散失真保存在缓冲队列中，供后续的被参考像素的失真度计算使用。下面，根据编码像素位于非关键帧还是关键帧，我们用dtep(v,n,i)和ddep(v,n,i)来分别计算(2)式中的扩散失真度
Figure GDA0003119026870000095
其中dtep(v,n,i)表示时域的扩散失真度(Temporal ErrorPropagation Distortion)，ddep(v,n,i)表示视差上的扩散失真度(Disparity ErrorPropagation Distortion)。
(21)当编码像素位于非关键帧时，扩散失真度
Figure GDA0003119026870000096
采用时域的扩散失真度dtep(v,n,i)表示。具体为：
分级B帧的使用是多视点视频编码与传统的单视点视频编码的一个明显区别。在多视点视频中，非关键帧一般采用分级的B帧结构，这样每个非关键帧都有两个参考帧。由于同时存在两个可以使用的运动补偿预测的像素，分级B帧在传输过程中便有内在抗差错性能。当其中一个参考帧的运动补偿预测像素发生错误时，另外一个参考帧的正确接收的预测像素可以用来做解码端的运动补偿和重建，此时扩散失真为正确接收的预测像素扩散而来，这种事件的概率为2p(1-p)，其中p为信道丢包率；当两个参考帧的运动补偿像素都被正确接收的时候，此时扩散失真为两个运动补偿像素的失真度加权得到，这种事件的概率为(1-p)2；当两个参考帧的运动补偿像素都发生错误的时候，此时采用运动掩盖的错误隐藏方法，就是直接拷贝前一个参考帧同样位置的像素的运动向量，这种事件的概率为p2。综合这几种随机事件，可以得到当前像素的扩散失真：
Figure GDA0003119026870000101
其中，wr0和wr1为双向预测的前向和后项的权值，mv'为第二个参考帧的运动向量。h为当前帧和参考帧间隔的帧数。由公式(3)可以看出，我们综合考虑了分级B帧的内在抗差错性能对扩散失真度建模的影响。
(22)当编码像素位于关键帧时，扩散失真度
Figure GDA0003119026870000102
采用视差上的扩散失真度ddep(v,n,i)表示。具体为：
为了节省多视点的编码复杂度，关键帧采用P帧，并采用视差补偿预测去除视点之间的相关性，也就是每个视点的关键帧参考前一个视点的关键帧。所以视点间编码模式的扩散失真为：
Figure GDA0003119026870000103
如果采用参考帧序列list0中第一帧同样位置的重建像素进行恢复，则掩盖像素的扩散失真为：
Figure GDA0003119026870000104
对于帧内编码的像素，因为帧内编码像素空域方向预测带来的扩散失真很小，基本可以忽略不计，又由于没有参考像素的扩散失真，则：
Figure GDA0003119026870000105
最后，式子(1)中错误掩盖失真度的计算可以表示为：
Figure GDA0003119026870000106
其中，dec_o(v,n,i)由原始像素值和掩盖像素在编码端重建值的均方差来度量，可以在编码之后直接获取得到，而
Figure GDA0003119026870000111
则可以由式子(2)递推得到。
综上所述，在像素级失真度的式子(1)的基础上，视点v第n帧的宏块m的端到端的失真度可以进而表示为：
Figure GDA0003119026870000112
(3)率失真优化的联合信源信道编码，根据失真度模型、虚拟的信道编码器生成的信道参数集以及信道丢包率进行联合信源信道的率失真优化，得出的最优信源参数用于编码模式的选择，得出的最优信道参数用于信道编码器的编码。
由于信道出错带来了扩散失真和掩盖失真，传统的率失真优化技术将不能很好的平衡编码效率和码流的抗差错性能。在估计的端到端失真度的基础上，为了实现编码效率和差错控制性能之间的平衡，将率失真优化技术与端到端的失真度估计相结合，形成了网络有损下的率失真优化编码。传统的多视点差错控制方法只考虑率失真优化模式选择或者只考虑前向纠错编码，或者机械的把两者结合起来(先做前向纠错保护，再做率失真优化模式选择)。考虑到率失真优化模式选择和前向纠错保护内在的关联，本发明将同时对两者进行联合优化编码。具体地，将信源编码参数(编码模式)和信道参数(FEC的码率)同时代入到率失真优化中，在线的实现在易错网络环境下编码模式和FEC码率的联合最优选择，从而实现解码端多视点失真度最小化的目的。
为了提高传输的鲁棒性，传统的方法大部分是直接对编码模式进行重新选择，使得容易发生差错扩散的编码块采用帧内编码方式。这种率失真优化的模式选择可以很好的抑制预测带来的差错扩散，但是不能很好的纠正已经发生的信道错误。为了改善算法的性能，也有很多算法直接添加前向纠错码(FEC)去纠正已经发生的信道错误。但是这些改进算法都是采用固定的FEC码率，然后将FEC和传统的率失真优化模式选择机械的结合起来。实质上就是先用固定FEC码率做差错保护，然后计算剩下的信源码率大小，再做率失真优化模式选择。这些方法都没有很好的利用FEC码率和信源编码模式内在的联系，也就是FEC码率大小和信源的编码模式其实是一个整体去影响多视点的差错性能，FEC码率大小的决定和编码模式的决定不能分开去考虑，需要作为一个整体影响参数去被决定。下面，我们就提出一种联合信源和信道编码参数的最佳选择优化方法。
在视频传输中，Reed-Solomon(RS)码是一种应用很广泛的前向纠错编码(FEC)方式，具有较低的编码复杂度。RS码经常表示为(N,M)的形式，M表示为信息部分码元的数量，N-M表示校验位部分码元的数量。FEC的码率大小此时可以定义为M/N。通常在网络环境下，RS码主要用于保护传输的数据包，并且能够纠正至多(N-M)个丢失的数据包。在有FEC保护的情况下，只有当数据包发生丢失并且不能被FEC恢复的情况下，才被认为该数据包真正丢失了。所以，在RS保护的情况下，上述讨论的信道丢包率p可以表示为：
Figure GDA0003119026870000121
其中，ε表示在未进行RS保护前实际的网络丢包率。由公式(9)可以看出，信道编码参数将会影响丢包率，继而影响上述讨论的端到端的失真度。所以端到端的失真度主要由信源编码参数和信道编码参数共同决定的。
假设信道编码参数集为
Figure GDA0003119026870000122
信源编码参数集(编码模式)为
Figure GDA0003119026870000123
其中M表示信息位的码元的数量，由于本发明考虑的是以数据包为单位的信道错误，M也表示一帧中数据包的个数；N1到Nq表示信息位和校验位码元的总数量，这里总共有q种情况。假设ui和vi分别表示第i个数据包选择的信道编码参数和信源编码参数，则对于某视点的第n帧来说，信道编码参数矢量序列为u＝{u1,u2,…uM}，信源编码参数矢量序列为v＝{v1,v2,…vM}，那么联合信源信道编码的参数选择可以表示为：
Figure GDA0003119026870000124
其中，Rn表示信道的码率，
Figure GDA0003119026870000125
表示信源的码率，Rbudget表示受限的码率(取决于信道带宽和帧率)。Dn表示端到端的失真度，可以由上面建立的失真度模型估计出来。通常来说，这种码率受限的离散优化问题十分难求解。但是，因为各个数据包的失真度基本不相关，我们可以采用拉格朗日松弛解决上述问题。公式(10)的拉格朗日代价可以表示为：
Figure GDA0003119026870000131
这种拉格朗日凸包解决方案的最优解可以通过寻找合适的λ得到。当λ正好满足受限的码率的时候，(11)的解决方案的最优解也就是(10)的解。在这里，我们利用经典的二分法找到λ。最终，由于各个数据包之间假设相互独立，(11)还可以进一步简化为：
Figure GDA0003119026870000132
由公式(12)可以看出，里层的最小化运算可以通过对各个数据包分别进行最小化，最终可以得到信源编码参数集。外层的最小化运算可以通过穷尽搜索法实现，进而得到信道编码参数集。
信源编码参数集中包含了每帧的每个数据包的编码模式，假设数据包i的编码模式通过(12)被输出为
Figure GDA0003119026870000133
里面包含了z个宏块的编码模式(假设每个宏块的编码模式表示为cmj(1≤j≤z))，我们就直接把z个编码模式作为这些编码块的编码模式，然后进行量化和熵编码，进而输出码流。同理，我们直接把得到的信道编码参数集u用于信道编码器进行信道编码。
本发明的一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法，在关键帧进行视点预测的KS_IPP编码框架中，根据多视点的编码和多方向差错扩散的特性，建立了一种端到端的多视点失真度估计模型，该模型考虑了多视点编码中时域和视点之间的依赖性，并考虑了分级B帧固有抗差错性能对失真度建模的影响。估计的失真度大小主要由量化参数、信道保护后的网络丢包率、FEC纠错能力强弱等因素决定。并将估计到的端到端失真和率失真优化技术相结合，把编码模式，FEC的码率大小作为一个整体参数引入到率失真代价函数中，实现信源和信道编码参数的联合选择，使得编码效率和鲁棒性达到最优。采用本发明方法，能有效地纠正信道错误，并减小传输差错在视点间的扩散，提高多视点视频流的传输鲁棒性，使其更好的适应于有损网络环境下的视频传输。
实施例
下面结合一个具体的实施方式对本发明作进一步的详细说明。为便于说明，且不失一般性，做如下假定：
本发明提出的方法拟在国际标准提出的多视点视频编码测试平台JMVC 6.0上运行，采用国际通用的3D视频测试序列Ballroom进行测试，分辨率为640x480，帧率为30fps。每帧打包成9个数据包进行RTP传输，然后采用RS码做信道保护。网络丢包采用随机的丢包模板进行测试。RS码率大小和编码模式的选择由以下步骤最终确定。
假定本实施例采用的编码框架为图2所示框架，且当前编码帧为视点2的第2帧(即图2中视点V2在T2时刻的帧)，我们首先采用JMVC中的运动视差补偿预测编码模块对其进行预测编码，也就是视点内的时域方向采用分级B帧运动补偿编码，在视点之间采用视差补偿预测编码。然后，根据式(1)，则视点2的第2帧像素i的端到端的失真度为：
d(2,2,i)＝(1-p)(ds(2,2,i)+dep(vref,rref,i+mv))+pdec(2,2,i) (13)；
其中，ds(2,2,i)在编码端根据量化参数可以精确计算得到，dep(vref,rref,i+mv)和dec(2,2,i)可以在下面讨论中进行估计得到。
由于视点2的第2帧为可分级B帧，其参考帧分别为视点2的第4帧和视点2的第0帧(关键帧P帧)，所以端到端的失真度估计中的参考帧扩散失真dep(vref,rref,i+mv)主要由dep(2,4,i+mv)和dep(2,0,i+mv)根据式子(3)讨论的四种情况加权得到。
1)参考像素扩散失真dep(2,4,i+mv)(也就是dtep(2,4,i+mv))的计算
由于视点2的第4帧是编码结构中的非关键帧，则像素i+mv的扩散失真可以根据式子(3)进行得到(在编码端进行运动搜索可以得到mv，进而确定参考帧中i+mv的位置)。假设解码端采用帧拷贝(Frame Copy)的掩盖方式，此时：
Figure GDA0003119026870000141
其中，dep_r0(2,0,i+mv')，dep_r1(2,8,i+mv')以及dtep(2,3,i+mv)可以从前期保存在扩散失真缓存队列中取得，计算得到的dtep(2,4,i+mv)保存在缓存队列中，供后续的被参考像素的失真度的计算使用。wr0和wr1在这里分别取值为0.5。如果采用图像参考列表list0中的第一个参考帧的同样位置的像素进行恢复，也就是视点2的第0帧中像素i+mv，那么dec_r(2,4,i+mv)可以在编码端通过模拟丢包进行直接计算。
如果视点2的第4帧像素i+mv采用帧内编码方式，则根据式子(6)可以得到：
dtep(2,4,i+mv)＝p(dec_r(2,4,i+mv)+dtep(2,0,i+mv)) (15)；
2)参考像素扩散失真dep(2,0,i+mv)(也就是ddep(2,0,i+mv))的计算
由于视点2的第0帧是编码结构中的关键帧，则像素i+mv的扩散失真可以根据式子(4)计算得到：
Figure GDA0003119026870000151
同样，ddep(1,0,i+mv')可以在缓存队列中得到，计算得到的ddep(2,0,i+mv)保存在失真度缓存队列中。如果采用list0中的第一帧同样位置像素进行恢复出错的像素，也就是视点1的第0帧像素i+mv，则
Figure GDA0003119026870000152
可以根据式子(5)得到：
Figure GDA0003119026870000153
如果相机视点2的第0帧的像素i+mv采用帧内编码Intra的方式，则根据式子(6)可以得到：
ddep(2,0,i+mv)＝p(dec_r(2,0,i+mv)+ddep(1,0,i+mv)) (18)；
最后dec(2,2,i)可以根据式子(7)计算得到，即：
dec(2,2,i)＝dec_o(2,2,i)+ddep(2,0,i) (19)；
其中，dec_o(2,2,i)可以在编码端直接估计，ddep(2,0,i)可以由式子(2)进行估计(掩盖方式仍然为采用list0中第一个参考帧同位置像素)。
在估计的端到端的失真度的基础上，采用率失真优化实现联合信源信道编码参数的选择。假设此时的候选的信道编码参数集为：
Figure GDA0003119026870000154
根据这些编码参数，可以计算不同FEC码率大小R＝M/N。另一方面，按照公式(9)可以计算出经过RS保护下的信道丢包率，将这些丢包率重新代入公式(1)和(8)中重新计算估计的失真度。当信源编码参数集，信道编码参数集，FEC码率大小，信源码率大小(各个模式的码率在编码完成之后可以直接获得)都确定了的时候，便可以代入公式(12)通过穷尽搜索的优化算法获得最优的信源编码参数和信道编码参数集。得到的信源编码参数直接作用于JMVC中的编码模式选择模块，信道编码参数集直接输入到信道编码器中。
本发明提出的多视点传输差错控制方法，不局限于KS_IPP编码结构，可扩展到任意一种多视点编码结构，并也可以在MV_HEVC标准平台上进行实施。本发明需要的信道编码方法也不局限于RS码，可以采用具有更强纠错能力的信道编码器，如：Expanding WindowRateless Codes(扩展窗口的无率码)。在分析多视点编码特征的基础上，采用FEC码率估计信道出错情况下端到端的失真度，实现信源信道联合编码。对于信道出现的错误，可以使用时间复杂度较低的RS码进行校正。超过RS码校正能力范围的信道错误仍然会带来差错扩散，对于这些存在失真度扩散的宏块，本发明将通过率失真优化技术选择帧内方式进行编码更新，进而抑制失真的扩散。本发明能够获得最优的FEC码率和多视点视频编码的信源码率，能有效减少传输差错在视点间和视点内部的差错扩散，有效的提高了立体视频和多视点视频传输的鲁棒性。

Claims (8)

1.一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法，其特征在于，包括以下步骤：
步骤1、多视点视频编码：视频序列首先进行运动视差补偿预测，然后进行编码模式选择；
步骤2、建立端到端失真度模型：在执行完上述步骤1之后，采用虚拟信道编码器的信息码元数量和校验位码元数量计算信道丢包率，进而建立端到端的失真度模型；
步骤3、联合信源信道的率失真优化编码：根据所述失真度模型、所述虚拟信道编码器生成的信道参数集以及信道丢包率进行联合信源信道的率失真优化，得出的最优信源参数用于编码模式的选择，得出的最优信道参数用于信道编码器的编码。
2.根据权利要求1所述的一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法，其特征在于，步骤1中多视点视频编码主要包括运动视差补偿预测编码和编码模式选择两部分，首先，在视点内时域方向采用可分级的B帧的编码结构，分级B帧的运动视差补偿预测编码中，B帧分为B1帧、B2帧和B3帧三个层次，通过对B1、B2、B3帧的预测，然后做运动向量和残差的编码，完成视点内的运动视差补偿预测编码；其次，视点间在关键帧采用传统的IPPP结构进行预测，在视点间的关键帧的IPPP视差补偿预测编码时，通过在前一个参考视点中寻找和当前块最匹配的块，利用该块作为预测块，进而编码该块与当前块的残差并进行传输；为了让解码器能够寻找到该匹配块，当前块与匹配块的视差向量也进行熵编码，然后在信道上传输；最后对编码帧的编码块进行编码模式选择。
3.根据权利要求2所述的一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法，其特征在于，B1、B2、B3帧的预测具体为：B1帧由两个I帧或者P帧来进行预测，预测的残差和运动向量分别进行熵编码，得到编码的码流在信道上传输；B2帧则由低层次的B1帧和I帧或P帧进行双向预测得到；B3帧则由低层次的B2帧或者B1帧和I帧或P帧进行双向预测得到。
4.根据权利要求2所述的一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法，其特征在于，编码模式包括帧内编码和运动视差补偿编码模式。
5.根据权利要求1所述的一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法，其特征在于，步骤2中在运动视差补偿预测编码的基础上，进行多视点传输情况下端到端的失真度估计，假设信道丢包率为p，则视点v第n帧的第i个像素的端到端的预期失真E[d(v,n,i)]为：
E[d(v,n,i)]＝(1-p)(E[ds(v,n,i)]+E[dep(vref,rref,i+mv)])+pE[dec(v,n,i)]；
其中，E[ds(v,n,i)]表示编码像素i信源量化失真，E[dep(vref,rref,i+mv)]表示参考帧中的参考像素的扩散失真度，vref为第rref帧的参考视点，mv表示像素i的运动向量；E[dec(v,n,i)]表示错误掩盖失真；
为了方便计算当前像素预测的后面帧的像素的端到端的预期失真度，当前像素i的预期扩散失真表示为E[dep(v,n,i)]，其进一步可以表示为递推的形式：
Figure FDA0003145614590000021
其中，dec_r(v,n,i)表示编码像素的重建值和掩盖像素重建值的均方差，
Figure FDA0003145614590000022
表示掩盖像素为视点vec中第rec帧的像素
Figure FDA0003145614590000023
带来的扩散失真度，其中
Figure FDA0003145614590000024
为估计的运动矢量；
在视点v第n帧的第i个像素的端到端的预期失真E[d(v,n,i)]公式的基础上，视点v第n帧的宏块m的端到端的失真度进而表示为：
Figure FDA0003145614590000025
6.根据权利要求5所述的一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法，其特征在于，编码像素位于非关键帧时，用时域的扩散失真度dtep(v,n,i)来计算扩散失真度
Figure FDA0003145614590000026
在多视点视频中，非关键帧采用分级的B帧结构，这样每个非关键帧都有两个参考帧；由于同时存在两个可以使用的运动补偿预测的像素，分级B帧在传输过程中便有内在抗差错性能；当其中一个参考帧的运动补偿预测像素发生错误时，另外一个参考帧的正确接收的预测像素用来做解码端的运动补偿和重建，此时扩散失真为正确接收的预测像素扩散而来，这种事件的概率为2p(1-p)；当两个参考帧的运动补偿像素都被正确接收的时候，此时扩散失真度为两个运动补偿像素的失真度加权得到，这种事件的概率为(1-p)2；当两个参考帧的运动补偿像素都发生错误的时候，此时采用运动掩盖的错误隐藏方法，就是直接拷贝前一个参考帧同样位置的像素的运动向量，这种事件的概率为p2；综合上述3种 随机事件，得到当前像素的时域的扩散失真度为：
Figure FDA0003145614590000031
其中，wr0和wr1为双向预测的前向和后项的权值，mv'为第二个参考帧的运动向量；h为当前帧和参考帧间隔的帧数。
7.根据权利要求5所述的一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法，其特征在于，编码像素位于关键帧时，用视差上的扩散失真度ddep(v,n,i)来计算扩散失真度
Figure FDA0003145614590000032
关键帧采用P帧，并采用视差补偿预测去除视点之间的相关性，也就是每个视点的关键帧参考前一个视点的关键帧；所以视差上的扩散失真度为：
Figure FDA0003145614590000033
如果采用参考帧序列list0中第一帧同样位置的重建像素进行恢复，则掩盖像素的扩散失真度为：
Figure FDA0003145614590000034
对于帧内编码的像素，因为帧内编码像素空域方向预测带来的扩散失真很小，忽略不计，又由于没有参考像素的扩散失真，则：
Figure FDA0003145614590000035
最后，错误掩盖失真度的计算表示为：
Figure FDA0003145614590000036
其中，dec_o(v,n,i)由原始像素值和掩盖像素在编码端重建值的均方差来度量，可以在编码之后直接获取得到，而
Figure FDA0003145614590000037
则由当前像素的预期扩散失真E(dep(v,n,i))的递推形式递推得到。
8.根据权利要求1所述的一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法，其特征在于，步骤3中采用联合信源和信道编码参数的最佳选择优化方法，在RS(Reed-Solomon)保护的情况下，信道丢包率p表示为：
Figure FDA0003145614590000041
其中，ε表示在未进行RS保护前实际的网络丢包率，由上述公式可知，信道编码参数将会影响丢包率，继而影响上述讨论的端到端的失真度模型，所以端到端的失真度模型主要由信源编码参数和信道编码参数共同决定的；
假设信道编码参数集为
Figure FDA0003145614590000042
信源编码参数集为
Figure FDA0003145614590000043
其中M表示信息位的码元的数量；N1到Nq表示信息位和校验位码元的总数量，这里总共有q种情况；假设ui和vi分别表示第i个数据包选择的信道编码参数和信源编码参数，则对于某视点的第n帧来说，信道编码参数矢量序列为u＝{u1,u2,…uM}，信源编码参数矢量序列为v＝{v1,v2,…vM}，那么联合信源信道编码的参数选择表示为：
Figure FDA0003145614590000044
其中，Rn表示信道的码率，
Figure FDA0003145614590000045
表示信源的码率，Rbudget表示受限的码率，Dn表示端到端的失真度；
联合信源信道编码的参数选择公式的解为拉格朗日代价公式的解决方案的最优解，这种拉格朗日凸包解决方案的最优解通过寻找合适的λ得到；当λ正好满足受限的码率的时候，拉格朗日代价公式的解决方案的最优解也就是联合信源信道编码的参数选择公式的解；在这里，采用二分法找到λ；其中，拉格朗日代价公式表示为：
Figure FDA0003145614590000046
最终，由于各个数据包之间假设相互独立，拉格朗日代价公式进一步简化为：
Figure FDA0003145614590000051
由上式可知，里层的最小化运算通过对各个数据包分别进行最小化，最终得到信源编码参数集；外层的最小化运算通过穷尽搜索法实现，进而得到信道编码参数集；
信源编码参数集中包含了每帧的每个数据包的编码模式，假设数据包i的编码模式通过上式被输出为
Figure FDA0003145614590000052
里面包含了z个宏块的编码模式，这里假设每个宏块的编码模式表示为cmj(1≤j≤z)，则直接把z个编码模式作为这些编码块的编码模式，然后进行量化和熵编码，进而输出码流；同理，直接把得到的信道编码参数集u用于信道编码器进行信道编码。
CN201910676079.2A 2019-07-25 2019-07-25 一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法 Active CN110493603B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910676079.2A CN110493603B (zh) 2019-07-25 2019-07-25 一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910676079.2A CN110493603B (zh) 2019-07-25 2019-07-25 一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法

Publications (2)

Publication Number Publication Date
CN110493603A CN110493603A (zh) 2019-11-22
CN110493603B true CN110493603B (zh) 2021-09-17

Family

ID=68548230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910676079.2A Active CN110493603B (zh) 2019-07-25 2019-07-25 一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法

Country Status (1)

Country Link
CN (1) CN110493603B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113472479B (zh) * 2020-03-31 2022-11-22 维沃移动通信有限公司 一种传输处理方法及设备
CN113472480B (zh) * 2020-03-31 2022-09-27 维沃移动通信有限公司 一种传输处理方法及设备
CN116723330B (zh) * 2023-03-28 2024-02-23 成都师范学院 一种自适应球域失真传播链长度的全景视频编码方法
CN116456094B (zh) * 2023-06-15 2023-09-05 中南大学 一种分布式视频混合数字模拟传输方法及相关设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102740081B (zh) * 2012-06-21 2015-03-25 西南交通大学 一种基于分布式编码技术的多视点视频传输差错控制方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102792699A (zh) * 2009-11-23 2012-11-21 通用仪表公司 作为到视频序列的附加通道的深度代码化
CN102647591B (zh) * 2012-04-17 2014-07-02 中国科学院声学研究所 基于ssim评价的容错率失真优化视频编码方法
CN106303582A (zh) * 2016-08-20 2017-01-04 航天恒星科技有限公司 一种信源信道联合编解码方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102740081B (zh) * 2012-06-21 2015-03-25 西南交通大学 一种基于分布式编码技术的多视点视频传输差错控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Rate-Distortion Optimized Error-Resilient Algorithm for Multi-view Video Coding;Gao Pan 等;《Circuits Systems and SignalProcessing》;20160131;第35卷(第1期);全文 *
基于多视点视频编码的率失真优化编码模式选择;高攀 等;《第七届和谐人机环境联合学术会议（HHME2011)论文集》;20110917;全文 *

Also Published As

Publication number Publication date
CN110493603A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN110493603B (zh) 一种基于联合信源信道的率失真优化的多视点视频传输差错控制方法
WO2020146704A1 (en) Method and apparatus for video coding
El-Shafai et al. Encoder-independent decoder-dependent depth-assisted error concealment algorithm for wireless 3D video communication
JP2007503776A (ja) インター符号化に使われる参照画像数を最小化するための方法および装置
JP2009505607A (ja) 多視点動映像を符号化する方法及び装置
Gao et al. Rate-distortion optimized mode switching for error-resilient multi-view video plus depth based 3-D video coding
El-Shafai Pixel-level matching based multi-hypothesis error concealment modes for wireless 3D H. 264/MVC communication
JP2012151576A (ja) 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
CN102740081B (zh) 一种基于分布式编码技术的多视点视频传输差错控制方法
El‐Shafai et al. Performance evaluation of enhanced error correction algorithms for efficient wireless 3D video communication systems
Pang et al. Relativity analysis-based error concealment algorithm for entire frame loss of stereo video
KR101307682B1 (ko) Ｈ.264／ａｖｃ 베이스라인 프로파일에서의 ｒｄｏ에 기반한 움직임 벡터 숨김 정보 삽입을 이용한 에러 검출 방법
Gao et al. Error‐resilient multi‐view video coding based on end‐to‐end rate‐distortion optimization
Ascenso et al. Hierarchical motion estimation for side information creation in Wyner-Ziv video coding
Micallef et al. Error concealment techniques for H. 264/MVC encoded sequences
Liang et al. An effective error concealment method used in multi-view video coding
Gao et al. A rate–distortion optimized error-resilient algorithm for multi-view video coding
Gao et al. Error-resilient multi-view video coding for next generation 3-D video broadcasting
Gao et al. Joint texture and depth map coding for error-resilient 3-D video transmission
Gao Error-resilient multi-view video plus depth based 3-D video coding
Zhang Joint source-channel rate-distortion optimization algorithm for multiview video coding
JP5946980B1 (ja) 画像復号化方法
JP6181242B2 (ja) 画像復号化方法
Hrusovský et al. Error Concealment Algorithms Applied on Multi-View Video Sequences
JP5951915B2 (ja) 画像復号化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant