CN111372081B - 基于丢失块修复的分布式多视点视频解码的方法和装置 - Google Patents

基于丢失块修复的分布式多视点视频解码的方法和装置 Download PDF

Info

Publication number
CN111372081B
CN111372081B CN202010187089.2A CN202010187089A CN111372081B CN 111372081 B CN111372081 B CN 111372081B CN 202010187089 A CN202010187089 A CN 202010187089A CN 111372081 B CN111372081 B CN 111372081B
Authority
CN
China
Prior art keywords
lost
key frame
macro block
frame
repair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010187089.2A
Other languages
English (en)
Other versions
CN111372081A (zh
Inventor
杨红
卿粼波
何小海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202010187089.2A priority Critical patent/CN111372081B/zh
Publication of CN111372081A publication Critical patent/CN111372081A/zh
Application granted granted Critical
Publication of CN111372081B publication Critical patent/CN111372081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/395—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving distributed video coding [DVC], e.g. Wyner-Ziv video coding or Slepian-Wolf video coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Abstract

本发明一种基于丢失块修复的分布式多视点视频解码的方法和装置，本发明涉及视频解码领域，所述方法包括：针对接收到的关键帧码流进行帧内解码并判断是否出现丢失，在出现丢失的情况下，根据视点内差错隐藏算法和视点间差错隐藏算法分别修复丢失的关键帧得到第一修复关键帧、第二修复关键帧；采用融合算法，计算得到时域边信息的质量；计算得到空域边信息的质量；在时域边信息的质量高于空域边信息的质量的情况下，以第一修复关键帧作为解码结果；在时域边信息的质量低于空域边信息的质量的情况下，以第二修复关键帧作为解码结果。本发明很好地解决了DMVC系统关键帧在无线网络中传输时出现的丢失问题，且具有保持关键帧压缩性的优势。

Description

基于丢失块修复的分布式多视点视频解码的方法和装置
技术领域
本发明涉及视频解码领域，特别是一种基于丢失块修复的分布式多视点视频解码的方法和装置。
背景技术
分布式多视点视频编码(Distributed Multi-view Video Coding，DMVC)为无线环境下密集低功耗终端的多视点视频编解码带来了新的曙光，其采用独立编码-联合解码的方式，具有编码复杂度低、误码鲁棒性高等特点。然而，编码后数据量大、无线带宽有限且波动大、无线信道传输误码率高等问题对DMVC数据的无线传输带来了新的挑战，使得开展针对DMVC视频数据无线传输技术的研究有着十分重要的学术价值和现实意义。
DMVC系统是独立编码-联合解码，视频数据中的关键帧的正确解码有助于生成高质量的边信息，而边信息直接关系到整个DMVC系统的数据压缩率以及视频的恢复效果。因此，在易丢失无线网络环境下，出现关键帧丢失如何修复，从而得到质量稳定、可靠的关键帧是DMVC系统中的一个亟待解决的问题。
发明内容
鉴于上述问题，本发明提供一种基于丢失块修复的分布式多视点视频解码的方法和装置，解决了上述问题。
本发明实施例提供了一种基于丢失块修复的分布式多视点视频解码的方法，所述方法应用于解码端，所述方法包括：
针对接收到的关键帧码流进行帧内解码，并判断所述关键帧码流是否出现丢失，所述关键帧码流由编码端发送；
在所述关键帧码流出现丢失的情况下，根据视点内差错隐藏算法和视点间差错隐藏算法分别修复丢失的关键帧得到第一修复关键帧、第二修复关键帧；
采用融合算法，计算所述第一修复关键帧的时域边信息的峰值信噪比，得到所述第一修复关键帧的时域边信息的质量；
采用所述融合算法，计算所述第二修复关键帧的空域边信息的峰值信噪比，得到所述第二修复关键帧的空域边信息的质量；
在所述时域边信息的质量高于所述空域边信息的质量的情况下，以所述第一修复关键帧作为所述丢失的关键帧的解码结果；
在所述时域边信息的质量低于所述空域边信息的质量的情况下，以所述第二修复关键帧作为所述丢失的关键帧的解码结果。
可选地，在所述关键帧码流出现丢失的情况下，根据视点内差错隐藏算法修复丢失的关键帧，包括：
提取所述丢失的关键帧中丢失宏块周边宽度为n的相邻区域为待匹配子图；
根据打包方式，获取已正确解码的所述丢失的关键帧的前一关键帧中对应所述丢失宏块位置的第一宏块及其附近的所有宏块，在所述丢失的关键帧的前一关键帧中以所述第一宏块为中心，提取出宽度为m的方形基准图像；
基于所述方形基准图像，利用匹配算法寻找最佳匹配子图；
通过所述最佳匹配子图的像素点位置确定所述丢失宏块对应的运动矢量；
利用第一宏块和所述运动矢量填充所述丢失宏块，以修复所述丢失的关键帧。
可选地，在所述关键帧码流出现丢失的情况下，根据视点间差错隐藏算法修复丢失的关键帧，包括：
根据所述视点内差错隐藏算法获得所述第一宏块，所述第一宏块由t-1时刻的关键帧获得；
通过计算得到左右相邻视点帧间的基础矩阵，利用对极几何关系分别求得所述t-1时刻时所述第一宏块在第一左相邻视点帧、第一右相邻视点帧中的第一对极线、第二对极线；
分别在所述第一对极线、所述第二对极线周围的预设区域内进行视差搜索，以分别获得第一左相邻视点帧、第一右相邻视点帧中的第一最佳匹配块、第二最佳匹配块，进而获得第一视差矢量、第二视差矢量；
根据第一视差矢量、第二视差矢量以及所述丢失宏块的位置，分别在t时刻所述丢失宏块的第二左相邻视点帧、第二右相邻视点帧中，确定所述丢失宏块对应的最佳左匹配宏块、最佳右匹配宏块；
根据所述最佳左匹配宏块、所述最佳右匹配宏块生成所述丢失宏块的估计宏块，并用所述估计宏块填充所述丢失宏块，以修复所述丢失的关键帧。
可选地，提取所述丢失的关键帧中丢失宏块周边宽度为n的相邻区域为待匹配子图，包括：
提取所述丢失的关键帧中丢失宏块左边及上边宽度为n的相邻区域为待匹配子图；
或者，提取所述丢失的关键帧中丢失宏块右边及下边宽度为n的相邻区域为待匹配子图。
可选地，所述待匹配子图是宽度为n的L型，所述方形基准图像的宽度m大于所述待匹配子图的宽度n。
本发明还提供了一种基于丢失块修复的分布式多视点视频解码的装置，所述装置应用于解码端，所述装置包括：
解码判断模块，用于针对接收到的关键帧码流进行帧内解码，并判断所述关键帧码流是否出现丢失，所述关键帧码流由编码端发送；
修复模块，用于在所述关键帧码流出现丢失的情况下，根据视点内差错隐藏算法和视点间差错隐藏算法分别修复丢失的关键帧得到第一修复关键帧、第二修复关键帧；
计算时域质量模块，用于采用融合算法，计算所述第一修复关键帧的时域边信息的峰值信噪比，得到所述第一修复关键帧的时域边信息的质量；
计算空域质量模块，用于采用所述融合算法，计算所述第二修复关键帧的空域边信息的峰值信噪比，得到所述第二修复关键帧的空域边信息的质量；
第一结果模块，用于在所述时域边信息的质量高于所述空域边信息的质量的情况下，以所述第一修复关键帧作为所述丢失的关键帧的解码结果；
第二结果模块，用于在所述时域边信息的质量低于所述空域边信息的质量的情况下，以所述第二修复关键帧作为所述丢失的关键帧的解码结果。
可选地，所述修复模块包括：
提取待匹配子图模块，用于提取所述丢失的关键帧中丢失宏块周边宽度为n的相邻区域为待匹配子图；
获取基准图像模块，用于根据打包方式，获取已正确解码的所述丢失的关键帧的前一关键帧中对应所述丢失宏块位置的第一宏块及其附近的所有宏块，在所述丢失的关键帧的前一关键帧中以所述第一宏块为中心，提取出宽度为m的方形基准图像；
寻找匹配子图模块，用于基于所述方形基准图像，利用匹配算法寻找最佳匹配子图；
确定运动矢量模块，用于通过所述最佳匹配子图的像素点位置确定所述丢失宏块对应的运动矢量；
修复关键帧模块，用于利用第一宏块和所述运动矢量填充所述丢失宏块，以修复所述丢失的关键帧。
可选地，所述修复模块还包括：
获得宏块模块，用于根据所述视点内差错隐藏算法获得所述第一宏块，所述第一宏块由t-1时刻的关键帧获得；
计算对极线模块，用于通过计算得到左右相邻视点帧间的基础矩阵，利用对极几何关系分别求得所述t-1时刻时所述第一宏块在第一左相邻视点帧、第一右相邻视点帧中的第一对极线、第二对极线；
获得视差矢量模块，用于分别在所述第一对极线、所述第二对极线周围的预设区域内进行视差搜索，以分别获得第一左相邻视点帧、第一右相邻视点帧中的第一最佳匹配块、第二最佳匹配块，进而获得第一视差矢量、第二视差矢量；
确定匹配宏块模块，用于根据第一视差矢量、第二视差矢量以及所述丢失宏块的位置，分别在t时刻所述丢失宏块的第二左相邻视点帧、第二右相邻视点帧中，确定所述丢失宏块对应的最佳左匹配宏块、最佳右匹配宏块；
估计宏块修复关键帧模块，用于根据所述最佳左匹配宏块、所述最佳右匹配宏块生成所述丢失宏块的估计宏块，并用所述估计宏块填充所述丢失宏块，以修复所述丢失的关键帧。
可选地，所述提取待匹配子图模块具体用于：
提取所述丢失的关键帧中丢失宏块左边及上边宽度为n的相邻区域为待匹配子图；
或者，提取所述丢失的关键帧中丢失宏块右边及下边宽度为n的相邻区域为待匹配子图。
本发明提供的基于丢失块修复的分布式多视点视频解码的方法，在关键帧码流出现丢失的情况下，根据视点内差错隐藏算法和视点间差错隐藏算法分别修复丢失的关键帧得到第一修复关键帧、第二修复关键帧；之后采用融合算法，分别得到第一修复关键帧的时域边信息的质量和第二修复关键帧的空域边信息的质量，比较两者的质量高低，使用质量高的修复关键帧作为丢失的关键帧的解码结果。
本发明的方案，在关键帧出现丢失的情况下，结合多视点视频序列前向帧的视点内相关性和相邻视点的视点间相关性，对关键帧丢失块进行视点内和视点间差错隐藏，最后根据融合算法获得质量最佳的解码关键帧，很好地解决了DMVC系统关键帧在无线网络中传输时出现的丢失问题。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例一种基于丢失块修复的分布式多视点视频解码的方法的流程图；
图2是本发明实施例一种基于丢失块修复的分布式多视点视频解码的方法的示意图；
图3是本发明实施例一种基于丢失块修复的分布式多视点视频传输框架示意图；
图4是本发明实施例中视点内差错隐藏算法的原理示意图；
图5是本发明实施例中视点间差错隐藏算法的原理示意图；
图6是本发明实施例中对比三种丢失率情况下DMVC系统率失真曲线示意图；
图7是本发明实施例中对比三种丢失率情况下K帧率失真曲线图；
图8是本发明实施例中对比三种丢失率情况下DMVC系统的整体RD性能曲线图；
图9是本发明实施例中对比三种丢失率情况下解码端最终展示的主观视觉图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。应当理解，此处所描述的具体实施例仅用以解释本发明，仅仅是本发明一部分实施例，而不是全部的实施例，并不用于限定本发明。
发明人发现DMVC系统的视频数据中的关键(Key，K)帧的正确解码有助于生成高质量的边信息，而边信息直接关系到整个DMVC系统的数据压缩率以及视频的恢复效果。但目前在易丢失无线网络环境下，出现K帧丢失进行修复并没有充分利用到已正确解码K帧以及相邻视点的K帧之间的相关性，使得目前对丢失K帧的修复质量较差，结果并不能满足需求。
发明人经过深入研究、大量测试，创新地结合已正确解码K帧以及相邻视点的K帧之间的相关性，改进了视点内差错隐藏算法和视点间差错隐藏算法，从而得到更高质量、更可靠的修复K帧。以下，对本发明的方案进行详细描述。
参照图1，示出了本发明实施例一种基于丢失块修复的分布式多视点视频解码的方法的流程图，该方法包括：
步骤101：针对接收到的关键帧码流进行帧内解码，并判断关键帧码流是否出现丢失，关键帧码流由编码端发送。
本发明实施例中，一般地由编码端对K帧进行编码，例如：编码端对K帧以HEVC帧内编码模式进行编码形成K帧码流，之后通过有限或者无线网络的丢包信道传输给解码端，由解码端针对接收到的K帧码流进行HEVC帧内解码，并同时判断K帧码流是否出现丢失，假若K帧码流没有出现丢失，则解码端直接解码重建K帧即可，假若K帧码流出现丢失，那么就执行步骤102。
步骤102：在关键帧码流出现丢失的情况下，根据视点内差错隐藏算法和视点间差错隐藏算法分别修复丢失的关键帧得到第一修复关键帧、第二修复关键帧。
本发明实施例中，在K帧码流出现丢失的情况下，解码端根据视点内差错隐藏算法修复丢失的K帧，得到第一修复K帧，同时，解码端根据视点间差错隐藏算法也对丢失的K帧进行修复，得到第二修复K帧。
可选地，本发明实施例的视点内差错隐藏算法修复丢失的K帧得到第一修复K帧的具体步骤如下：
步骤s1：提取丢失的关键帧中丢失宏块周边宽度为n的相邻区域为待匹配子图。
本发明实施例中，在确定K帧出现丢失后，首先提取丢失的K帧中丢失宏块周边(类似于回字形)宽度为n的相邻区域为待匹配子图，而经过发明人反复实测，提取丢失宏块左边及上边宽度为n的L型相邻区域为待匹配子图，或者提取丢失宏块右边及下边宽度为n的L型相邻区域为待匹配子图，最终修复得到的K帧较其他提取形式修复得到的K帧质量更好。需要说明的是，丢失宏块的位置处于整个K帧的边缘位置时，那么就可能出现丢失宏块没有左边和上边的L型待匹配子图，那么可以提取该丢失宏块右边和下边的L型待匹配子图，反之亦然。
步骤s2：根据打包方式，获取已正确解码的丢失的关键帧的前一关键帧中对应丢失宏块位置的第一宏块及其附近的所有宏块，在丢失的关键帧的前一关键帧中以第一宏块为中心，提取出宽度为m的方形基准图像。
本发明实施例中，在得到待匹配子图之后，解码端可以根据编码端编码后传输时的打包方式，获取已正确解码的丢失的K帧的前一K帧中对应丢失宏块位置的第一宏块及其附近的所有宏块，即，假若视频帧帧率为30帧/秒，那么第10个K帧出现丢失，解码端可以获取到前一帧第9个K帧中对应第10个K帧中丢失宏块位置的一个宏块(即，第一宏块)及其附件的所有宏块，需要解释的是，第一宏块附近的所有宏块一般是指与第一宏块四周相邻的宏块。
获取到第一宏块以及附件的所有宏块之后，在丢失的K帧的前一K帧中以第一宏块为中心，提取出宽度为m的方形基准图像，即，在第9个K帧中以第一宏块为中心，提取出宽度为m的方形基准图像。需要说明的是，方形基准图像的宽度m大于前述的待匹配子图的宽度n，这样做是为了保证在下一步中可以精确寻找到最佳匹配子图，因为第10个K帧中丢失宏块在第10个K帧中像素点位置可能与第9个K帧中第一宏块在第9个K帧中像素点位置不同，略有偏差，因此，为了能得到最佳匹配子图，需要扩大方形基准图像的面积，才可以保证在该方形基准图像中找到最佳匹配子图。
步骤s3：基于方形基准图像，利用匹配算法寻找最佳匹配子图。
本发明实施例中，在提取出方形基准图像后，基于方形基准图像，利用匹配算法寻找最佳匹配子图，其中，匹配算法可以是目前已有的任意一种匹配算法。
步骤s4：通过最佳匹配子图的像素点位置确定丢失宏块对应的运动矢量。
本发明实施例中，在确定出最佳匹配子图之后，即可通过最佳匹配子图的像素点位置确定丢失宏块对应的运动矢量，即，在第9个帧中确定好最佳匹配子图后，可以通过该最佳匹配子图的像素点位置确定第10个帧中丢失宏块对应的运动矢量。
步骤s5：利用第一宏块和运动矢量填充丢失宏块，以修复丢失的关键帧。
本发明实施例中，在确定好运到矢量之后，利用第一宏块和运动矢量填充丢失宏块，以修复丢失的关键帧，得到第一修复K帧，即，利用第9个帧中的第一宏块和第10个帧中丢失宏块对应的运动矢量，填充第10个帧中丢失宏块，达到修复第10个帧中丢失宏块的目标。
可选地，本发明实施例的视点间差错隐藏算法修复丢失的K帧得到第二修复K帧的具体步骤如下：
步骤t1：根据视点内差错隐藏算法获得第一宏块，第一宏块由t-1时刻的关键帧获得。
本发明实施例中，采用视点间差错隐藏算法修复丢失的K帧时，首先需要根据前述步骤s1～s2得到第一宏块，自然的，第一宏块是由t-1时刻的K帧获得，即，第一宏块是由第9个K帧获得，而丢失宏块在第10个K帧中。
步骤t2：通过计算得到左右相邻视点帧间的基础矩阵，利用对极几何关系分别求得t-1时刻时第一宏块在第一左相邻视点帧、第一右相邻视点帧中的第一对极线、第二对极线。
本发明实施例中，解码端可以通过计算得到左右相邻视点帧间的基础矩阵，该计算过程可以使用目前已有方法计算得到，再利用对极几何关系分别求得在t-1时刻时第一宏块在第一左相邻视点帧、第一右相邻视点帧中的第一对极线、第二对极线，需要说明的是，因为是多视点的视频，假设第9个K帧和第10个K帧均由中间视点产生，那么与中间视点相邻的左右两个视点也均会产生K帧，即，中间视点产生第9个K帧的同时，与其相邻的第一左视点和第一右视点也各自产生一个K帧(为了区别于中间视点产生的帧，将其简称为第一左视点帧和第一右视点帧)，且这两个K帧也是各自的第9个K帧，第10个K帧的情况与此相同。
因此，利用对极几何关系可以求得中间视点产生的第9个K帧中的第一宏块在第一左相邻视点产生的第9个K帧中的第一对极线，同时求得中间视点产生的第9个K帧中的第一宏块在第一右相邻视点产生的第9个K帧中的第二对极线。
步骤t3：分别在第一对极线、第二对极线周围的预设区域内进行视差搜索，以分别获得第一左相邻视点帧、第一右相邻视点帧中的第一最佳匹配块、第二最佳匹配块，进而获得第一视差矢量、第二视差矢量。
本发明实施例中，在获得第一对极线、第二对极线之后，分别在第一对极线、第二对极线周围的预设区域内进行视差搜索，以分别获得第一左相邻视点帧、第一右相邻视点帧中的第一最佳匹配块、第二最佳匹配块，进而获得第一视差矢量、第二视差矢量，视差搜索和获得视差矢量的方法可以使用目前已有的方法进行。即，在第一左相邻视点产生的第9个K帧中的第一对极线周围的预设区域内进行视差搜索，获得第一左相邻视点产生的第9个K帧中的第一最佳匹配块，进而获得第一视差矢量，在第一右相邻视点产生的第9个K帧中的第二对极线周围的预设区域内进行视差搜索，获得第一右相邻视点产生的第9个K帧中的第二最佳匹配块，进而获得第二视差矢量。
步骤t4：根据第一视差矢量、第二视差矢量以及丢失宏块的位置，分别在t时刻丢失宏块的第二左相邻视点帧、第二右相邻视点帧中，确定丢失宏块对应的最佳左匹配宏块、最佳右匹配宏块。
本发明实施例中，获得第一视差矢量、第二视差矢量之后，解码端根据第一视差矢量、第二视差矢量以及丢失宏块的位置，在t时刻丢失宏块的第二左相邻视点帧中，确定丢失宏块对应的最佳左匹配宏块，在丢失宏块的第二右相邻视点帧中，确定丢失宏块对应的最佳右匹配宏块。即，在第二左相邻视点产生的第10个K帧中，确定中间视点产生的第10个K帧中丢失宏块对应的最佳左匹配宏块，同时，在第二右相邻视点产生的第10个K帧中，确定中间视点产生的第10个K帧中丢失宏块对应的最佳右匹配宏块。
步骤t5：根据最佳左匹配宏块、最佳右匹配宏块生成丢失宏块的估计宏块，并用估计宏块填充丢失宏块，以修复丢失的关键帧。
本发明实施例中，确定出丢失宏块对应的最佳左匹配宏块、最佳右匹配宏块之后，最后解码端根据最佳左匹配宏块、最佳右匹配宏块生成丢失宏块的估计宏块，即，综合使用第二左相邻视点产生的第10个K帧中的最佳左匹配宏块，以及第二右相邻视点产生的第10个K帧中的最佳右匹配宏块，生成中间视点产生的第10个K帧中丢失宏块的估计宏块。
再用估计宏块填充中间视点产生的第10个K帧中的丢失宏块，以修复中间视点产生的第10个K帧中的丢失的关键帧，得到第二修复K帧，达到修复丢失宏块的目标。
步骤103：采用融合算法，计算第一修复关键帧的时域边信息的峰值信噪比，得到第一修复关键帧的时域边信息的质量。
步骤104：采用融合算法，计算第二修复关键帧的空域边信息的峰值信噪比，得到第二修复关键帧的空域边信息的质量。
本发明实施例中，在分别采用视点内差错隐藏算法和视点间差错隐藏算法得到第一修复K帧和第二修复K帧之后，解码端采用融合算法，分别计算第一修复K帧的时域边信息的峰值信噪比(PSNR)和第二修复K帧的空域边信息的PSNR，根据得到的PSNR的大小来衡量第一修复K帧的时域边信息的质量和第二修复K帧的空域边信息的质量。
步骤105：在时域边信息的质量高于空域边信息的质量的情况下，以第一修复关键帧作为丢失的关键帧的解码结果。
步骤106：在时域边信息的质量低于空域边信息的质量的情况下，以第二修复关键帧作为丢失的关键帧的解码结果。
本发明实施例中，在计算得到第一修复K帧的时域边信息的质量和第二修复K帧的空域边信息的质量之后，判断两个质量的高低，以质量高的那个修复K帧作为丢失的K帧的解码结果。即，在时域边信息的质量高于空域边信息的质量的情况下，以第一修复K帧作为丢失的K帧的解码结果；在时域边信息的质量低于空域边信息的质量的情况下，以第二修复K帧作为丢失的K帧的解码结果。
通过上述方法，解码端就可以获得质量最佳的解码K帧，很好地解决了DMVC系统K帧在无线网络中传输时出现的丢失问题。
上述整个过程可以以图2来更直观的得到展现，参照图2，示出了本发明实施例一种基于丢失块修复的分布式多视点视频解码的方法的示意图，图中左视点产生的三个K帧：K帧1、K帧2、K帧3均已正确解码，右视点产生的三个K帧：K帧7、K帧8、K帧9也均已正确解码，中间视点产生的三个帧：K帧4、K帧5、K帧6中，K帧4和K帧5已正确解码，但K帧6为有丢失宏块的K帧，其在HEVC帧内解码后的解码质量差，此时利用K帧5进行视点内差错隐藏(实线)得到一个修复的K帧6，同时还利用K帧3和K帧9进行视点间差错隐藏(虚线)，得到另一个修复的K帧6，最后根据这两个修复的K帧6的质量较高者，作为K帧6最终的解码结果。
参照图3，示出了本发明实施例一种基于丢失块修复的分布式多视点视频传输框架示意图，编码端对K帧进行HEVC帧内编码，之后由丢包信道传输至解码端，解码端进行HEVC帧内解码，假若K帧无丢失，则直接解码K帧，假若K帧有丢失，则同时使用视点内差错隐藏算法和视点间差错隐藏算法进行修复，其中视点间差错隐藏算法需要使用到已解码左视点视频帧和已解码右视点视频帧，最后由融合算法计算得到PSNR，取PSNR值高者作为解码K帧的结果。
参照图4，示出了本发明实施例中视点内差错隐藏算法的原理示意图，假设在某有误K帧：Xt中，像素点位置：(x,y)所在的宏块Bt被丢失，提取丢失宏块Bt左边及上边宽度为n的L型区域为待匹配子图；同时根据打包方式获取前一个已解码帧：Xt-1在同一位置处的第一宏块：Bt-1及其附近的所有宏块，在前一个已解码帧Xt-1中以第一宏块Bt-1为中心，提取出宽度为m的方形基准图像(m＞n)；然后在方形基准图像中用利用匹配算法寻找最佳匹配子图；用最佳匹配子图的像素点位置：(x+mvx,y+mvy)可确定丢失宏块对应的运动矢量：MV(mvx.mvy)，最后用第一宏块Bt-1填充出丢失宏块Bt，其对应公式有：
Bt(x,y)＝Bt-1(x+mvx,y+mvy)
参照图5，示出了本发明实施例中视点间差错隐藏算法的原理示意图，
Figure BDA0002414570330000121
表示当前t时刻K帧的丢失宏块，根据视点内差错隐藏算法可以获得丢失宏块
Figure BDA0002414570330000122
的位置信息及其前一帧(t-1时刻)中最佳匹配块
Figure BDA0002414570330000123
的信息；通过计算得出左视点与右视点间的基础矩阵F1、F3(基础矩阵在前一帧和当前帧是一样的)，利用对极几何关系l'＝Fx可分别求得前一帧最佳匹配块
Figure BDA0002414570330000124
在左右相邻视点帧中的对极线l1，l3；在对极线l1周围的一定区域内进行视差搜索获得左相邻视点帧中的最佳左匹配块：
Figure BDA0002414570330000125
进而获得视差矢量：
Figure BDA0002414570330000126
在对极线l3周围的一定区域内进行视差搜索获得右相邻视点帧中的最佳右匹配块：
Figure BDA0002414570330000131
进而获得视差矢量：
Figure BDA0002414570330000132
然后根据上述两个视差矢量及丢失宏块
Figure BDA0002414570330000133
的位置信息，在t时刻的左相邻视点帧中寻找丢失宏块
Figure BDA0002414570330000134
的最佳左匹配块：
Figure BDA0002414570330000135
在t时刻的右相邻视点帧中寻找丢失宏块
Figure BDA0002414570330000136
的最佳右匹配块：
Figure BDA0002414570330000137
最后根据最佳左、右匹配块生成丢失宏块的估计宏块(图5中未示出)，用估计宏块修复丢失宏块
Figure BDA0002414570330000138
图5中V和H表示对极线上各块能移动的尺寸范围；
Figure BDA0002414570330000139
表示左视点上
Figure BDA00024145703300001310
对应的对极点；
Figure BDA00024145703300001311
表示右视点上
Figure BDA00024145703300001312
对应的对极点；
Figure BDA00024145703300001313
表示左视点上对应
Figure BDA00024145703300001314
的块；
Figure BDA00024145703300001315
表示右视点上对应
Figure BDA00024145703300001316
的块。
以下，为了验证本发明的方法的有效性，分别进行了以下仿真测试：
参照图6，示出了本发明实施例中对比三种丢失率情况下DMVC系统率失真曲线示意图，具体的：
方案一：原始DMVC框架下K帧无丢失情况；
方案二：K帧有丢失采用一般的错误掩盖方式修复方法；
方案三：本发明的修复方法。
图6中纵轴表示图像质量大小的PSNR值，单位为dB，横轴表示视频序列的帧序号，分别表现了第1帧到第35帧的解码质量PSNR值。由星型和点划线组成的曲线为方案一的原始DMVC框架K帧无丢失时的PSNR值，由圆形和实线组成的曲线为方案二K帧有丢失(丢失率5％)采用一般错误掩盖方式修复方法的PSNR值，由方块和虚线组成的曲线为方案三本发明的修复方法的PSNR值。由此可知，本发明的方法的K帧解码视频质量更接近于K帧无丢失的情况，较采用较一般错误掩盖方式修复的方法更好。
参照图7，示出了本发明实施例中对比三种丢失率情况下K帧率失真曲线图，具体的：
方案一：原始DMVC框架下K帧无丢失情况；
方案二：K帧有丢失采用一般的错误掩盖方式修复方法；
方案三：本发明的修复方法。
图7中纵轴表示图像质量大小的PSNR值，单位为dB，横轴表示视频序列传输所需的码率值，单位为kbps。其中，实线为方案一的原始DMVC框架K帧无丢失时的K帧率失真曲线；圆形和实线组成的曲线为方案二的K帧有丢失(丢失率5％)采用一般的错误掩盖方式修复方法时的率失真曲线，圆形和虚线组成的曲线为方案二的K帧有丢失(丢失率10％)采用一般的错误掩盖方式修复方法时的率失真曲线；由方块和实线组成的曲线为方案三的K帧有丢失(丢失率5％)有修复时的率失真曲线，由方块和虚线组成的曲线为方案三的K帧有丢失(丢失率10％)有修复时的率失真曲线。由此可知，本发明的方法的K帧解码视频质量更接近于K帧无丢失的情况，较方案二的更好。
参照图8，示出了本发明实施例中对比三种丢失率情况下DMVC系统的整体RD性能曲线图，具体的：
方案一：原始DMVC框架下K帧无丢失情况；
方案二：K帧有丢失采用一般的错误掩盖方式修复方法；
方案三：本发明的修复方法。
图8中纵轴表示图像质量大小的PSNR值，单位为dB，横轴表示视频序列传输所需的码率值，单位为kbps。其中，实线为方案一的无丢失时的DMVC系统的RD性能曲线；圆形和实线组成的曲线为方案2的K帧有丢失(丢失率5％)时DMVC系统的RD性能曲线，圆形和虚线组成的曲线为方案2的K帧有丢失(丢失率10％)时DMVC系统的RD性能曲线；由方块和实线组成的曲线为方案3的K帧有丢失(丢失率5％)时DMVC系统的RD性能曲线，由方块和虚线组成的曲线为方案3的K帧有丢失(丢失率10％)时的DMVC系统的RD性能曲线。由此可知，本发明的方法的DMVC系统解码视频质量更接近于K帧无丢失情况，具有更好的可靠性和压缩性，较采用一般错误掩盖方式修复的方法更好。
最后，为了更进一步地表达本发明方法的有效性，参照图9，示出了本发明实施例中对比三种丢失率情况下解码端最终展示的主观视觉图，具体的：
方案一：原始DMVC框架下K帧无丢失情况；
方案二：采用一般的错误掩盖方式修复方法；
方案三：本发明的修复方法。
图9(b)、(c)、(e)、(f)中黑色框内分别表示不同方案下的修复情况，解码后图像质量用PSNR值表示，单位为dB。其中，图9(a)和图9(d)分别表示方案一的K帧无丢失时解码端进行解码重建后展示的主观视觉图；图9(b)表示方案二的K帧丢失10％时的解码端进行解码重建后展示的主观视觉图，根据测试此时PSNR值为28.3396dB；图9(e)表示方案二的K帧丢失20％时的解码端进行解码重建后展示的主观视觉图，根据测试此时PSNR值为28.2424dB。
图9(c)表示方案三的K帧丢失10％时的解码端进行解码重建后展示的主观视觉图，根据测试此时PSNR值为32.9003dB；图9(f)表示方案三的K帧丢失20％时的解码端进行解码重建后展示的主观视觉图，根据测试此时PSNR值为32.4712dB。由此可知，本发明的方法的K帧解码视频质量更高，解码端最终展示的主观视觉图效果也更好。
通过上述实施例，本发明提供的基于丢失块修复的分布式多视点视频解码的方法，在关键帧码流出现丢失的情况下，根据视点内差错隐藏算法和视点间差错隐藏算法分别修复丢失的关键帧得到第一修复关键帧、第二修复关键帧；之后采用融合算法，分别得到第一修复关键帧的时域边信息的质量和第二修复关键帧的空域边信息的质量，比较两者的质量高低，使用质量高的修复关键帧作为丢失的关键帧的解码结果。本发明在关键帧出现丢失的情况下，结合多视点视频序列前向帧的视点内相关性和相邻视点的视点间相关性，对关键帧丢失块进行视点内和视点间差错隐藏，最后根据融合算法获得质量最佳的解码关键帧，很好地解决了DMVC系统关键帧在无线网络中传输时出现的丢失问题，且具有保持关键帧压缩性的优势。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、系统、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
上面结合附图对本发明的实施例进行了描述，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于丢失块修复的分布式多视点视频解码的方法，其特征在于，所述方法应用于解码端，所述方法包括：
针对接收到的关键帧码流进行帧内解码，并判断所述关键帧码流是否出现丢失，所述关键帧码流由编码端发送；
在所述关键帧码流出现丢失的情况下，根据视点内差错隐藏算法和视点间差错隐藏算法分别修复丢失的关键帧得到第一修复关键帧、第二修复关键帧；
采用融合算法，计算所述第一修复关键帧的时域边信息的峰值信噪比，得到所述第一修复关键帧的时域边信息的质量；
采用所述融合算法，计算所述第二修复关键帧的空域边信息的峰值信噪比，得到所述第二修复关键帧的空域边信息的质量；
在所述时域边信息的质量高于所述空域边信息的质量的情况下，以所述第一修复关键帧作为所述丢失的关键帧的解码结果；在所述时域边信息的质量低于所述空域边信息的质量的情况下，以所述第二修复关键帧作为所述丢失的关键帧的解码结果；
其中，在所述关键帧码流出现丢失的情况下，根据视点间差错隐藏算法修复丢失的关键帧，包括：
根据所述视点内差错隐藏算法获得第一宏块，所述第一宏块由t-1时刻的关键帧获得；
通过计算得到左右相邻视点帧间的基础矩阵，利用对极几何关系分别求得所述t-1时刻时所述第一宏块在第一左相邻视点帧、第一右相邻视点帧中的第一对极线、第二对极线；
分别在所述第一对极线、所述第二对极线周围的预设区域内进行视差搜索，以分别获得第一左相邻视点帧、第一右相邻视点帧中的第一最佳匹配块、第二最佳匹配块，进而获得第一视差矢量、第二视差矢量；
根据第一视差矢量、第二视差矢量以及所述丢失宏块的位置，分别在t时刻所述丢失宏块的第二左相邻视点帧、第二右相邻视点帧中，确定所述丢失宏块对应的最佳左匹配宏块、最佳右匹配宏块；
根据所述最佳左匹配宏块、所述最佳右匹配宏块生成所述丢失宏块的估计宏块，并用所述估计宏块填充所述丢失宏块，以修复所述丢失的关键帧。
2.根据权利要求1所述的方法，其特征在于，在所述关键帧码流出现丢失的情况下，根据视点内差错隐藏算法修复丢失的关键帧，包括：
提取所述丢失的关键帧中丢失宏块周边宽度为n的相邻区域为待匹配子图；
根据打包方式，获取已正确解码的所述丢失的关键帧的前一关键帧中对应所述丢失宏块位置的第一宏块及其附近的所有宏块，在所述丢失的关键帧的前一关键帧中以所述第一宏块为中心，提取出宽度为m的方形基准图像；
基于所述方形基准图像，利用匹配算法寻找最佳匹配子图；
通过所述最佳匹配子图的像素点位置确定所述丢失宏块对应的运动矢量；
利用第一宏块和所述运动矢量填充所述丢失宏块，以修复所述丢失的关键帧。
3.根据权利要求2所述的方法，其特征在于，提取所述丢失的关键帧中丢失宏块周边宽度为n的相邻区域为待匹配子图，包括：
提取所述丢失的关键帧中丢失宏块左边及上边宽度为n的相邻区域为待匹配子图；
或者，提取所述丢失的关键帧中丢失宏块右边及下边宽度为n的相邻区域为待匹配子图。
4.根据权利要求3所述的方法，其特征在于，所述待匹配子图是宽度为n的L型，所述方形基准图像的宽度m大于所述待匹配子图的宽度n。
5.一种基于丢失块修复的分布式多视点视频解码的装置，其特征在于，所述装置应用于解码端，所述装置包括：
解码判断模块，用于针对接收到的关键帧码流进行帧内解码，并判断所述关键帧码流是否出现丢失，所述关键帧码流由编码端发送；
修复模块，用于在所述关键帧码流出现丢失的情况下，根据视点内差错隐藏算法和视点间差错隐藏算法分别修复丢失的关键帧得到第一修复关键帧、第二修复关键帧；
计算时域质量模块，用于采用融合算法，计算所述第一修复关键帧的时域边信息的峰值信噪比，得到所述第一修复关键帧的时域边信息的质量；
计算空域质量模块，用于采用所述融合算法，计算所述第二修复关键帧的空域边信息的峰值信噪比，得到所述第二修复关键帧的空域边信息的质量；
第一结果模块，用于在所述时域边信息的质量高于所述空域边信息的质量的情况下，以所述第一修复关键帧作为所述丢失的关键帧的解码结果；
第二结果模块，用于在所述时域边信息的质量低于所述空域边信息的质量的情况下，以所述第二修复关键帧作为所述丢失的关键帧的解码结果；
其中，所述修复模块包括：获得宏块模块，用于根据所述视点内差错隐藏算法获得所述第一宏块，所述第一宏块由t-1时刻的关键帧获得；
计算对极线模块，用于通过计算得到左右相邻视点帧间的基础矩阵，利用对极几何关系分别求得所述t-1时刻时所述第一宏块在第一左相邻视点帧、第一右相邻视点帧中的第一对极线、第二对极线；
获得视差矢量模块，用于分别在所述第一对极线、所述第二对极线周围的预设区域内进行视差搜索，以分别获得第一左相邻视点帧、第一右相邻视点帧中的第一最佳匹配块、第二最佳匹配块，进而获得第一视差矢量、第二视差矢量；
确定匹配宏块模块，用于根据第一视差矢量、第二视差矢量以及所述丢失宏块的位置，分别在t时刻所述丢失宏块的第二左相邻视点帧、第二右相邻视点帧中，确定所述丢失宏块对应的最佳左匹配宏块、最佳右匹配宏块；
估计宏块修复关键帧模块，用于根据所述最佳左匹配宏块、所述最佳右匹配宏块生成所述丢失宏块的估计宏块，并用所述估计宏块填充所述丢失宏块，以修复所述丢失的关键帧。
6.根据权利要求5所述的装置，其特征在于，所述修复模块包括：
提取待匹配子图模块，用于提取所述丢失的关键帧中丢失宏块周边宽度为n的相邻区域为待匹配子图；
获取基准图像模块，用于根据打包方式，获取已正确解码的所述丢失的关键帧的前一关键帧中对应所述丢失宏块位置的第一宏块及其附近的所有宏块，在所述丢失的关键帧的前一关键帧中以所述第一宏块为中心，提取出宽度为m的方形基准图像；
寻找匹配子图模块，用于基于所述方形基准图像，利用匹配算法寻找最佳匹配子图；
确定运动矢量模块，用于通过所述最佳匹配子图的像素点位置确定所述丢失宏块对应的运动矢量；
修复关键帧模块，用于利用第一宏块和所述运动矢量填充所述丢失宏块，以修复所述丢失的关键帧。
7.根据权利要求6所述的装置，其特征在于，所述提取待匹配子图模块具体用于：
提取所述丢失的关键帧中丢失宏块左边及上边宽度为n的相邻区域为待匹配子图；
或者，提取所述丢失的关键帧中丢失宏块右边及下边宽度为n的相邻区域为待匹配子图。
CN202010187089.2A 2020-03-17 2020-03-17 基于丢失块修复的分布式多视点视频解码的方法和装置 Active CN111372081B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010187089.2A CN111372081B (zh) 2020-03-17 2020-03-17 基于丢失块修复的分布式多视点视频解码的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010187089.2A CN111372081B (zh) 2020-03-17 2020-03-17 基于丢失块修复的分布式多视点视频解码的方法和装置

Publications (2)

Publication Number Publication Date
CN111372081A CN111372081A (zh) 2020-07-03
CN111372081B true CN111372081B (zh) 2022-06-17

Family

ID=71211887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010187089.2A Active CN111372081B (zh) 2020-03-17 2020-03-17 基于丢失块修复的分布式多视点视频解码的方法和装置

Country Status (1)

Country Link
CN (1) CN111372081B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860748A (zh) * 2010-04-02 2010-10-13 西安电子科技大学 基于分布式视频编码的边信息生成系统及方法
CN102271256A (zh) * 2011-09-16 2011-12-07 河海大学常州校区 基于模式决策的自适应帧组分布式视频编码和解码方法
CN102595145A (zh) * 2012-03-13 2012-07-18 宁波大学 一种立体视频整帧丢失错误隐藏方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7778328B2 (en) * 2003-08-07 2010-08-17 Sony Corporation Semantics-based motion estimation for multi-view video coding
KR101031624B1 (ko) * 2006-09-20 2011-04-27 니폰덴신뎅와 가부시키가이샤 화상 부호화 방법 및 복호 방법, 그 장치 및 그 프로그램을 기록한 기억매체
US9210436B2 (en) * 2010-01-11 2015-12-08 Sungkyunkwan University Foundation For Corporate Collaboration Distributed video coding/decoding method, distributed video coding/decoding apparatus, and transcoding apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860748A (zh) * 2010-04-02 2010-10-13 西安电子科技大学 基于分布式视频编码的边信息生成系统及方法
CN102271256A (zh) * 2011-09-16 2011-12-07 河海大学常州校区 基于模式决策的自适应帧组分布式视频编码和解码方法
CN102595145A (zh) * 2012-03-13 2012-07-18 宁波大学 一种立体视频整帧丢失错误隐藏方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于场景检测的自适应Intra帧差错掩盖算法;唐浩漾等;《计算机工程与应用》;20131226(第05期);全文 *
基于时空冗余及不等错误保护的分布式多视点视频编码容错传输;熊珊珊等;《科学技术与工程》;20181018(第29期);第1页-第6页，附图1-5 *

Also Published As

Publication number Publication date
CN111372081A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
KR101199498B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체
CN101273635B (zh) 使用相机参数对多视图画面编码和解码的设备和方法
CN101601304B (zh) 用于对多视图图像进行编码和解码的方法和设备
EP3348060B1 (en) Method and device for encoding a light field based image, and corresponding computer program product
CN102510500B (zh) 一种基于深度信息的多视点立体视频错误隐藏方法
WO2009086761A1 (zh) 视频编码、解码方法及装置和视频处理系统
US9225962B2 (en) Stereo matching for 3D encoding and quality assessment
CN102905150B (zh) 一种新的多视点视频分形编码压缩与解压缩方法
US9451233B2 (en) Methods and arrangements for 3D scene representation
CN102291579B (zh) 一种快速的多目立体视频分形压缩与解压缩方法
CN103988500A (zh) 视频质量测量
CN108924568B (zh) 一种基于3d-hevc框架的深度视频错误隐藏方法
KR101598855B1 (ko) 입체영상 부호화 장치 및 방법
Li et al. Pixel-based inter prediction in coded texture assisted depth coding
US20150237323A1 (en) 3d video representation using information embedding
CN104363461B (zh) 视频帧的错误隐藏方法及应用其的视频解码方法
CN111372081B (zh) 基于丢失块修复的分布式多视点视频解码的方法和装置
Hewage et al. Joint error concealment method for backward compatible 3D video transmission
KR20160147448A (ko) 컬러 영상정보를 이용한 깊이영상 부호화 방법 및 컬러 영상정보를 이용한 깊이정보 복원 방법
KR101357755B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR101313223B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
WO2013075515A1 (zh) 多视点视频的编码、解码方法、装置和编解码器
Jang et al. FDQM: Fast quality metric for depth maps without view synthesis
Yang et al. SYNBF: A new bilateral filter for postremoval of noise from synthesis views in 3-d video
CN103997635B (zh) 自由视点视频的合成视点失真预测方法及编码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant