CN110278436B - 图像帧差错隐藏方法及装置 - Google Patents

图像帧差错隐藏方法及装置 Download PDF

Info

Publication number
CN110278436B
CN110278436B CN201910576978.5A CN201910576978A CN110278436B CN 110278436 B CN110278436 B CN 110278436B CN 201910576978 A CN201910576978 A CN 201910576978A CN 110278436 B CN110278436 B CN 110278436B
Authority
CN
China
Prior art keywords
image frame
error concealment
macro block
decoding
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910576978.5A
Other languages
English (en)
Other versions
CN110278436A (zh
Inventor
秦海琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lusheng Technology Co ltd
Original Assignee
Lusheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lusheng Technology Co ltd filed Critical Lusheng Technology Co ltd
Priority to CN201910576978.5A priority Critical patent/CN110278436B/zh
Publication of CN110278436A publication Critical patent/CN110278436A/zh
Priority to PCT/CN2019/123890 priority patent/WO2020258737A1/zh
Priority to US17/616,555 priority patent/US20220239955A1/en
Application granted granted Critical
Publication of CN110278436B publication Critical patent/CN110278436B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种图像帧差错隐藏方法，包括以下步骤：判断第n个图像帧是否有丢包差错，如果是则不对第n个图像帧进行差错隐藏；以及对第n+1个图像帧进行差错隐藏，其中差错隐藏操作参考第n个图像帧之前的一个或多个图像帧进行，其中n为大于等于2的整数。

Description

图像帧差错隐藏方法及装置
技术领域
本发明涉及长期演进语音承载(Voice over Long-Term Evolution,VOLTE)视频电话业务、视频编解码器、实时传输协议(Real-time Transport Protocol,RTP)以及嵌入式系统，尤其涉及一种图像帧差错隐藏方法，该图像帧差错隐藏方法可以有效提高图像的质量。
背景技术
VOLTE电话业务是4G通信的核心业务之一，而视频电话是其中的一个主要功能。基于分组交换的4G无线网络可以提供双向实时音视频电话业务。视频电话主要采用MPEG4、H.264或H.265等编码算法，通常在实时系统中使用I帧(帧内预测)和P帧(帧间预测)进行图像编码。其中，I帧解码不依赖其他图像但压缩率较低，P帧解码压缩率较高但解码需要参考之前的图像。通常情况下，为了保证有效的数据压缩，视频码流中绝大多数是P帧。另一方面，无线信道的数据丢包常常是不可避免的，即使只出现一个丢包也会导致该帧图像无法正确解码，而后续帧以差错帧为参考从而造成了图像差错的不断延续和放大，最后使得图像中出现大量马赛克，影响了用户的主观体验。
因此，对于VOLTE视频电话业务来说，数据丢包问题显得尤为突出。常用的应对措施是在传输层进(反馈)数据重传，例如通过RTCP(Real-time Transport ControlProtocol，实时传输控制协议)反馈丢包信息、丢失图像条带信息，或者反馈差错宏块信息等。这些方法虽然处理过程不同、重传的数据量也不同，但本质上都是在传输层进行修复，需要对端(和本端)的配合才能实现，而且对承载质量有一定要求的，即在无线信号较好的环境下才能取得理想的修复效果。如果当前信号较弱(例如终端处于移动中或者比较复杂的网络环境下)，不仅正常数据容易丢包，反馈信息或重传数据本身也可能出现丢包和长时延，从而会影响传输层的修复效果。另外，实时视频电话业务也不可能长时间等待重传。而当对端设备来自其他厂商时，则可能根本不支持本端传输层的修复协议，从而完全无法进行数据修复。可见，数据重传的方法不仅需要双方协议的支持，而且明显受限于网络条件。
由于传输层的修复机制无法应对所有情况，在传输层修复失败的情况下输出的图像帧必然存在数据缺失。如果想要最终不出现大量马赛克和卡顿，那么就需要在视频解码器引入差错隐藏机制来提高图像的质量。
差错隐藏是与数据重传工作在不同层面的另一种图像修复机制。差错隐藏修复方法可以使图像的差错被控制在有限的范围之内，且无需得到对端的配合。差错隐藏修复方法不依赖网络传输，因而是一种更加独立、透明的修复方法。当所有上层的修复机制不可用或者修复失败时，便只能依靠解码器的差错隐藏功能来保证图像质量。因此，差错隐藏修复方法不仅是其他修复机制的重要补充，也是视频图像质量的最终保障。
发明内容
本发明所要解决的技术问题是提供一种图像帧差错隐藏方法，该图像帧差错隐藏方法可以有效提高图像的质量。
本发明为解决上述技术问题而采用的技术方案是提出一种图像帧差错隐藏方法，包括以下步骤：判断第n个图像帧是否有丢包差错，如果是则不对所述第n个图像帧进行差错隐藏；以及对第n+1个图像帧进行差错隐藏，其中所述差错隐藏操作参考所述第n个图像帧之前的一个或多个图像帧进行，其中n为大于等于2的整数。
在本发明的一实施例中，当判断所述第n个图像帧有丢包差错时，还包括：尝试解码所述第n个图像帧；以及判断所述解码能否获得一个或多个宏块，如果是，则所述差错隐藏操作包括参考所述一个或多个宏块以及所述第n个图像帧之前的一个或多个图像帧进行差错隐藏，否则丢弃所述第n个图像帧；其中不显示所述第n个图像帧。
在本发明的一实施例中，还包括对第n+2个图像帧进行解码，所述解码操作参考所述第n+1个图像帧进行。
在本发明的一实施例中，对第n+1个图像帧进行差错隐藏的步骤包括：对所述第n+1个图像帧中的能够直接独立解码的第一类帧内宏块进行解码；对所述第n+1个图像帧中仅依赖于所述第一类帧内宏块的第二类帧内宏块进行解码；参考所述第n个图像帧之前的一个或多个图像帧，对所述第n+1个图像帧中的帧间宏块进行差错隐藏；以及对所述第n+1个图像帧中不能够直接独立解码的第三类帧内宏块进行差错隐藏。
在本发明的一实施例中，参考所述第n个图像帧之前的一个或多个图像帧，对所述第n+1个图像帧中的帧间宏块进行差错隐藏的步骤包括：解码所述帧间宏块的运动矢量；计算候选运动矢量；从所述候选运动矢量中选取目标运动矢量；根据所述目标运动矢量从所述第n个图像帧之前的一个或多个图像帧中获取参考宏块，并根据所述参考宏块解码当前的帧间宏块。
在本发明的一实施例中，对第n+1个图像帧进行差错隐藏的步骤包括：对所述第n+1个图像帧中的能够直接独立解码的第一类帧内宏块进行解码；对所述第n+1个图像帧中仅依赖于所述能够直接独立解码的第一类帧内宏块的第二类帧内宏块进行解码；参考所述第n个图像帧的一个或多个宏块和所述第n个图像帧之前的一个或多个图像帧，对所述第n+1个图像帧中的帧间宏块进行差错隐藏；以及对所述第n+1个图像帧中不能够直接独立解码的第三类帧内宏块进行差错隐藏。
在本发明的一实施例中，参考所述第n个图像帧之前的一个或多个图像帧，对所述第n+1个图像帧中的帧间宏块进行差错隐藏的步骤包括：解码所述帧间宏块的运动矢量；计算候选运动矢量；根据所述运动矢量确定参考宏块所在的图像帧位置；当所述参考宏块在所述第n个图像帧时，直接根据所述参考宏块解码所述帧间宏块，并结束流程；当所述参考宏块在所述第n个图像帧之前的一个或多个图像帧时，从所述候选运动矢量中选取目标运动矢量；以及根据所述目标运动矢量从所述第n个图像帧之前的一个或多个图像帧中获取参考宏块，并根据所述参考宏块解码当前的帧间宏块。
在本发明的一实施例中，对所述第n+1个图像帧中不能够直接独立解码的第三类帧内宏块进行差错隐藏的步骤包括：获取当前第三类帧内宏块的预测模式；在剩余的第三类帧内宏块中搜索以当前第三类帧内宏块为参考宏块，且预测模式相同的相关第三类帧内宏块；获取所述当前第三类帧内宏块和所述相关第三类帧内宏块的多组候选参考像素；使用所述多组候选参考像素对所述当前第三类帧内宏块和所述相关第三类帧内宏块进行解码以选取目标参考像素；以及根据所述目标参考像素解码所述当前第三类帧内宏块和所述相关第三类帧内宏块。
本发明的另一方面提出一种图像帧差错隐藏装置，包括：差错检测模块，用于判断第n个图像帧是否有丢包差错；以及差错隐藏模块，用于当所述第n个图像帧有丢包差错时不修复所述第n个图像帧，且对第n+1个图像帧进行差错隐藏，其中所述差错隐藏操作参考所述第n个图像帧之前的一个或多个图像帧进行，其中n为大于等于2的整数。
在本发明的一实施例中，所述差错隐藏模块还用于当判断所述第n个图像帧有丢包差错时，尝试解码所述第n个图像帧，且判断所述解码能否获得一个或多个宏块；其中如果所述解码能获得一个或多个宏块，则所述差错隐藏模块参考所述一个或多个宏块以及所述第n个图像帧之前的一个或多个图像帧进行差错隐藏，如果所述解码不能获得一个或多个宏块，则所述差错隐藏模块丢弃所述第n个图像帧；其中不显示所述第n个图像帧。
在本发明的一实施例中，所述差错隐藏模块还用于对第n+2个图像帧进行解码，所述解码操作参考所述第n+1个图像帧进行。
在本发明的一实施例中，所述差错隐藏模块包括：第一解码单元，用于对所述第n+1个图像帧中的能够直接独立解码的第一类帧内宏块进行解码；第二解码单元，用于对所述第n+1个图像帧中仅依赖于所述能够直接独立解码的第一类帧内宏块的第二类帧内宏块进行解码；第一差错隐藏单元，用于参考所述第n个图像帧之前的一个或多个图像帧，对所述第n+1个图像帧中的帧间宏块进行差错隐藏；以及第二差错隐藏单元，用于对所述第n+1个图像帧中不能够直接独立解码的第三类帧内宏块进行差错隐藏。
在本发明的一实施例中，所述第一差错隐藏单元配置为按照如下方式进行差错隐藏：解码所述帧间宏块的运动矢量；计算候选运动矢量；从所述候选运动矢量中选取目标运动矢量；根据所述目标运动矢量从所述第n个图像帧之前的一个或多个图像帧中获取参考宏块，并根据所述参考宏块解码当前的帧间宏块。
在本发明的一实施例中，所述差错隐藏模块包括：第一解码单元，用于对所述第n+1个图像帧中的能够直接独立解码的第一类帧内宏块进行解码；第二解码单元，用于对所述第n+1个图像帧中仅依赖于所述能够直接独立解码的第一类帧内宏块的第二类帧内宏块进行解码；第一差错隐藏单元，用于参考所述第n个图像帧的一个或多个宏块和所述第n个图像帧之前的一个或多个图像帧，对所述第n+1个图像帧中的帧间宏块进行差错隐藏；以及第二差错隐藏单元，用于对所述第n+1个图像帧中不能够直接独立解码的第三类帧内宏块进行差错隐藏。
在本发明的一实施例中，所述第一差错隐藏单元配置为按照如下方式进行差错隐藏：解码所述帧间宏块的运动矢量；计算候选运动矢量；根据所述运动矢量确定参考宏块所在的图像帧位置；当所述参考宏块在所述第n个图像帧时，直接根据所述参考宏块解码所述帧间宏块，并结束流程；当所述参考宏块在所述第n个图像帧之前的一个或多个图像帧时，从所述候选运动矢量中选取目标运动矢量；以及根据所述目标运动矢量从所述第n个图像帧之前的一个或多个图像帧中获取参考宏块，并根据所述参考宏块解码当前的帧间宏块。
在本发明的一实施例中，所述第二差错隐藏单元配置为按照如下方式进行差错隐藏：获取当前第三类帧内宏块的预测模式；在剩余的第三类帧内宏块中搜索以当前第三类帧内宏块为参考宏块，且预测模式相同的相关第三类帧内宏块；获取所述当前第三类帧内宏块和所述相关第三类帧内宏块的多组候选参考像素；使用所述多组候选参考像素对所述当前第三类帧内宏块和所述相关第三类帧内宏块进行解码以选取目标参考像素；以及根据所述目标参考像素解码所述当前第三类帧内宏块和所述相关第三类帧内宏块。
本发明的另一方面提出一种解码装置，包括：存储器，用于存储可由处理器执行的指令；处理器，用于执行所述指令以实现如上所述的方法。
本发明的另一方面提出一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如上所述的方法。
本发明由于采用以上技术方案，使之与现有技术相比，具有如下显著优点：
第一，本发明的图像帧差错隐藏方法是一种更可靠、更稳定的图像修复机制，无论丢失的是部分图像数据还是整帧的图像都不影响差错隐藏效果，可以更好的适应复杂的网络环境，降低视频图像对数据丢包的敏感度。
第二，本发明的图像帧差错隐藏方法可以提高差错隐藏的效果，减少被修复图像中破碎不连续的区域，从而使后续图像帧解码的差错情况控制在可接受的范围之内。
第三，本发明的图像帧差错隐藏方法具有更好的兼容性，可适用于现有VOLTE视频电话标准和视频编解码标准，无需引入私有协议和传递额外数据，对现有的业务架构更加透明。
附图说明
为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：
图1是一种现有的差错隐藏方法的示意图；
图2是另一种现有的差错隐藏方法的示意图；
图3是现有的视频电话业务的图像帧解码的示意图；
图4是本发明一实施例的一种图像帧差错隐藏方法的流程图；
图5是本发明一实施例的一种图像帧差错隐藏方法的对第n+1个图像帧进行差错隐藏的流程图；
图6是本发明一实施例的一种图像帧差错隐藏方法的对第n+1个图像帧中的帧间宏块进行差错隐藏的流程图；
图7是本发明一实施例的一种图像帧差错隐藏方法的获取参考宏块的示意图；
图8是本发明一实施例的一种图像帧差错隐藏方法的对第n+1个图像帧中不能够直接独立解码的第三类帧内宏块进行差错隐藏的流程图；
图9是本发明一实施例的一种图像帧差错隐藏方法的预测相关第三类帧内宏块的示意图；
图10是本发明另一实施例的一种图像帧差错隐藏方法的流程图；
图11是本发明另一实施例的一种图像帧差错隐藏方法的对第n+1个图像帧进行差错隐藏的流程图；
图12是本发明另一实施例的一种图像帧差错隐藏方法的对第n+1个图像帧中的帧间宏块进行差错隐藏的流程图；
图13是本发明一实施例的采用图像帧差错隐藏方法的视频电话业务的图像帧解码的示意图；
图14是本发明一实施例的一种图像帧差错隐藏装置的示意图；
图15是本发明一实施例的一种解码装置的示意图；
图16是本发明一实施例的VOLTE视频电话系统的示意图；
图17是具有多种视频图像修复机制的系统的示意图。
具体实施方式
为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，因此本发明不受下面公开的具体实施例的限制。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
为了方便描述，此处可能使用诸如“之下”、“下方”、“低于”、“下面”、“上方”、“上”等等的空间关系词语来描述附图中所示的一个元件或特征与其他元件或特征的关系。将理解到，这些空间关系词语意图包含使用中或操作中的器件的、除了附图中描绘的方向之外的其他方向。例如，如果翻转附图中的器件，则被描述为在其他元件或特征“下方”或“之下”或“下面”的元件的方向将改为在所述其他元件或特征的“上方”。因而，示例性的词语“下方”和“下面”能够包含上和下两个方向。器件也可能具有其他朝向(旋转90度或处于其他方向)，因此应相应地解释此处使用的空间关系描述词。此外，还将理解，当一层被称为在两层“之间”时，它可以是所述两层之间仅有的层，或者也可以存在一个或多个介于其间的层。
在本申请的上下文中，所描述的第一特征在第二特征之“上”的结构可以包括第一和第二特征形成为直接接触的实施例，也可以包括另外的特征形成在第一和第二特征之间的实施例，这样第一和第二特征可能不是直接接触。
应当理解，当一个部件被称为“在另一个部件上”、“连接到另一个部件”、“耦合于另一个部件”或“接触另一个部件”时，它可以直接在该另一个部件之上、连接于或耦合于、或接触该另一个部件，或者可以存在插入部件。相比之下，当一个部件被称为“直接在另一个部件上”、“直接连接于”、“直接耦合于”或“直接接触”另一个部件时，不存在插入部件。同样的，当第一个部件被称为“电接触”或“电耦合于”第二个部件，在该第一部件和该第二部件之间存在允许电流流动的电路径。该电路径可以包括电容器、耦合的电感器和/或允许电流流动的其它部件，甚至在导电部件之间没有直接接触。
现有的差错隐藏方法以视频宏块为单位进行差错隐藏处理，根据宏块类型的不同主要分为两种差错隐藏的方法。
图1是一种现有的差错隐藏方法的示意图。参考图1所示，如果该宏块为帧内(intra)类型，则采用空域差错隐藏。空域差错隐藏是根据周围宏块预测当前宏块的直流离散余弦变换(Discrete Cosine Transform,DCT)系数，然后反变换得到当前宏块的预测图像；或者是根据周围宏块的纹理进行线性插值或方向性插值来预测当前宏块的图像。
图2是另一种现有的差错隐藏方法的示意图。参考图2所示，如果该宏块为帧间(inter)类型，则采用时域差错隐藏。首先，建立候选运动矢量列表，包括零矢量、周围宏块的运动矢量以及前一帧对应宏块的运动矢量等。然后，根据边界匹配原则选择最佳的候选矢量作为当前宏块的预测运动矢量，将该矢量所指的图像块作为当前宏块的图像。
现有的差错隐藏方法都是通过类似上述的方法来恢复差错帧。这类方法的前提条件是视频帧本身结构比较完整，帧数据没有出现连续长串差错。但是，由于在实际环境中网络丢包现象较为常见，丢包往往会失去一大段的视频数据，因此多数情况下这类方法无法保证可靠地恢复出差错图像。具体体现在以下几个方面：
首先，图像恢复需要用到丢失宏块的信息，例如该宏块的编码方式，但是由于数据丢包后无法从码流中获取这些信息，而缺少这些宏块信息会直接影响恢复数据的准确性。另外，虽然可以通过额外数据通道冗余传递编码关键信息，但这样做意味着引入私有协议，而对于VOLTE这样标准化的业务来说是无法加入私有协议的，因此并不可行。
其次，图像的恢复效果极大依赖于周围宏块的信息和图像。在实际环境中，当承载发现数据校验差错时会直接丢弃数据包，因而帧数据出错的情况较为少见，更为常见的情况为数据丢包。数据丢包会造成多个片组(slice)无法解码或者整帧图像无法解码。在这种情况下，除了差错区域的边界宏块之外，内部的差错宏块周围并没有可用的参考宏块作为预测(在整帧图像丢失的情况下甚至没有周围数据可以参考)，因此空域差错隐藏效果较差。而时域差错隐藏由于缺少周围相邻运动矢量作为候选，只能依据参考帧宏块的运动矢量进行预测，也会出现较大的预测误差。特别是当参考帧的对应宏块没有运动矢量时，只能用零矢量作为最后的预测矢量，这无疑会影响到修复效果。另一方面，诸如H.264视频编码标准的FM0双相预测编码(Bi-Predictive Coding)技术，虽然可以解决周围参考宏块的问题，但受限于编码器的兼容性和压缩率，也很难实际应用。
此外，图像的恢复效果对后续图像的解码影响有较大影响。由于差错帧丢失了大量帧数据，仅依靠周围宏块和参考帧很难恢复丢失图像区域的物体轮廓和纹理。当物体图像出现较大误差(特别是对主观影响很大轮廓差错)时，如果再基于此图像解码，会使得图像差错快速扩散，产生更多的马赛克，导致图像内容模糊。
对于视频电话业务来说，数据丢包对图像质量的影响一方面体现在当前帧的解码差错，另一方面更主要体现在当前帧差错会导致后面一系列的视频帧差错。
图3是现有的视频电话业务的图像帧解码的示意图。参考图3所示，对于第n-1帧至第n+m-1帧的帧间(inter)编码帧，由于图像的第n+m-1帧需要参考第n+m-2帧，例如第n+1帧需要参考第n帧，当图像的第n帧出现数据丢包时，会造成第n帧的解码差错(即部分图像或整帧图像无法解出)，然后导致第n+1帧的解码差错，其后的依次各帧(第n+2帧，…第n+m-1帧)也会相继出现解码差错并导致马赛克现象迅速扩大，直到下一个(第n+m帧)帧内(intra)编码帧出现为止才可以恢复正常的图像。其中n为大于等于2的整数，m为大于等于2的整数。
针对以上问题，本发明的以下实施例描述一种图像帧差错隐藏方法，该图像帧差错隐藏方法可以有效提高图像的质量。
可以理解的是，下面所进行的描述仅仅示例性的，本领域技术人员可以在不脱离本发明的精神的情况下，进行各种变化。
该图像帧差错隐藏方法包括以下步骤：判断第n个图像帧是否有丢包差错，如果是则不对第n个图像帧进行差错隐藏；以及对第n+1个图像帧进行差错隐藏，其中差错隐藏操作参考第n个图像帧之前的一个或多个图像帧进行，其中n为大于等于2的整数。
图4是本发明一实施例的一种图像帧差错隐藏方法的流程图。参考图4所示，上述图像帧差错隐藏方法的步骤如下：
步骤410，判断第n个图像帧是否有丢包差错。
如果判断第n个图像帧没有丢包差错则直接结束，如果判断第n个图像帧有丢包差错则继续执行以下步骤。
步骤420，不对第n个图像帧进行差错隐藏。
在判断第n个图像帧有丢包差错后，不对第n个图像帧进行差错隐藏。
步骤430，对第n+1个图像帧进行差错隐藏。
其中，差错隐藏操作参考第n个图像帧之前的一个或多个图像帧进行，其中n为大于等于2的整数。
例如，差错隐藏操作可以参考第n-1个图像帧、第n-2个图像帧…和第n-m个图像帧中的一个或多个图像帧进行。其中，n为大于等于2的整数，m为小于n的正整数。
在本发明的一些示例中，该差错隐藏操作优先参考第n个图像帧之前的且距离第n个图像帧最近的图像帧进行。优选的，该差错隐藏操作可以仅参考第n-1个图像帧进行。
在本发明的一实施例中，上述图像帧差错隐藏方法还可以包括对第n+2个图像帧进行解码，解码操作参考第n+1个图像帧进行。
例如在图4所示的示例中，步骤430之后，还可以包括对第n+2个图像帧进行解码(图未示)，该解码操作参考第n+1个图像帧进行。
图5是本发明一实施例的一种图像帧差错隐藏方法的对第n+1个图像帧进行差错隐藏的流程图。参考图5所示，在本发明的一实施例中，对第n+1个图像帧进行差错隐藏的步骤包括：
步骤510，对第n+1个图像帧中的能够直接独立解码的第一类帧内宏块进行解码。
示例性的，第一类帧内(intra)宏块可以是解码边界上采用DC模式预测的帧内宏块，也可以是采用水平(horizontal)、垂直(vertical)以及平面(planar)等其他模式预测的帧内宏块，但本发明的实施例并非以此为限。
步骤520，对第n+1个图像帧中仅依赖于第一类帧内宏块的第二类帧内宏块进行解码。
步骤530，参考第n个图像帧之前的一个或多个图像帧，对第n+1个图像帧中的帧间宏块进行差错隐藏。
步骤540，对第n+1个图像帧中不能够直接独立解码的第三类帧内宏块进行差错隐藏。
第三类帧内宏块直接或间接参考步骤530中的帧间宏块。在一些示例中，第三类帧内宏块可以采用空域预测模式，但本发明的实施例并非以此为限。
图6是本发明一实施例的一种图像帧差错隐藏方法的对第n+1个图像帧中的帧间宏块进行差错隐藏的流程图。在本发明的一实施例中，上述步骤530中，参考第n个图像帧之前的一个或多个图像帧，对第n+1个图像帧中的帧间宏块进行差错隐藏的步骤可以包括：
步骤610，解码帧间宏块的运动矢量。
示例性的，该帧间宏块可以只包含一个或多个运动矢量。
步骤620，计算候选运动矢量。
示例性的，可以按照以下方式计算候选运动矢量：
MVcurr＝当前块运动矢量*Ratio1
MVleft＝当前左侧块运动矢量*Ratio1
MVtop＝当前上侧块运动矢量*Ratio1
MVTemp＝第n-1帧相同位置块运动矢量*Ratio2
其中，MV为候选运动矢量；Ratio1为第n+1帧与第n-1帧的时间间隔/第n+1帧与第n帧的时间间隔；Ratio2为第n+1帧与第n-1帧的时间间隔/第n-1帧与第n-2帧的时间间隔。
在本发明的一实施例中，在步骤620后还可以包括根据候选运动矢量建立候选运动矢量列表，该候选运动矢量列表包含MVcurr、MVleft、MVtop、MVTemp中的一项或多项。
步骤630，从候选运动矢量中选取目标运动矢量。
示例性的，可以按照边界匹配原则从候选运动矢量列表中选取目标运动矢量。例如，可以按照边界匹配原则依次计算候选矢量列表中各个参考宏块与当前周围图像的误差，选取出最小误差的候选运动矢量。然后再次按照边界匹配原则对候选运动矢量进行筛选，并得到目标运动矢量MVopt。
在一些示例中，可以在最小误差的候选运动矢量的2个像素点范围内再次按照边界匹配原则对候选运动矢量进行筛选，并可以根据需要选择是否采用1/4像素精度。例如，MVX的范围可以是[MVXopt-2,MVXopt+1]，MVY的范围可以是[MVYopt-2,MVYopt+1]。其中，MVX、MVY为候选运动矢量。
步骤640，根据目标运动矢量从第n个图像帧之前的一个或多个图像帧中获取参考宏块，并根据参考宏块解码当前的帧间宏块。
例如，图7是本发明一实施例的一种图像帧差错隐藏方法的获取参考宏块的示意图。在图7所示的一个示例中，根据目标运动矢量从第n-1个图像帧中获取参考宏块，并根据参考宏块解码当前的帧间宏块。
图8是本发明一实施例的一种图像帧差错隐藏方法的对第n+1个图像帧中不能够直接独立解码的第三类帧内宏块进行差错隐藏的流程图。在本发明的一实施例中，图5所示的步骤540中，对第n+1个图像帧中不能够直接独立解码的第三类帧内宏块进行差错隐藏的步骤包括：
步骤810，获取当前第三类帧内宏块的预测模式。
优选的，该预测模式可以为水平(horizontal)预测模式。可以理解，该预测模式还可以是DC预测模式、垂直(vertical)预测模式以及平面(planar)预测模式等其他类型的预测模式，但本发明的实施例并非以此为限。
步骤820，在剩余的第三类帧内宏块中搜索以当前第三类帧内宏块为参考宏块，且预测模式相同的相关第三类帧内宏块。
图9是本发明一实施例的一种图像帧差错隐藏方法的预测相关第三类帧内宏块的示意图。示例性的，当步骤810中的预测模式为水平预测模式时，在剩余的第三类帧内宏块中搜索直接或间接以当前宏块为参考宏块，且同样为水平预测的所有相关宏块。例如，图9中当前宏块右侧有两个同样为水平预测，且基于当前宏块为参考的帧内宏块。
步骤830，获取当前第三类帧内宏块和相关第三类帧内宏块的多组候选参考像素。
参考图9所示，当前第三类帧内宏块的预测结果会影响其右侧两个相关宏块的预测，因此将这几个宏块作为一个整体进行处理。假设当前宏块左上角坐标为xcurr、ycurr，则左侧参考像素坐标为xref0＝xcurr-1，yref0＝ycurr…ycurr+15。为了避免左边宏块边界数据差错造成误差传递，这里额外再选取左侧2组参考像素，其坐标分别是xref1＝xcurr-2，yref1＝ycurr…ycurr+15和xref2＝xcurr-3，yref2＝ycurr…ycurr+15。即获取(xref0,yref0)、(xref1,yref1)和(xref2,yref2)三组候选参考像素。
步骤840，使用多组候选参考像素对当前第三类帧内宏块和相关第三类帧内宏块进行解码以选取目标参考像素。
示例性的，可以依次使用步骤830中的三组参考像素，解码当前宏块以及右侧的相关宏块，得到的解码结果按照边界匹配原则与周围已解码宏块计算边界误差。例如，图9中的上边宏块已解码，通过计算与这些宏块的边界误差，选取出误差最小的参考像素作为目标参考像素xref_opt、yref_opt。
步骤850，根据目标参考像素解码当前第三类帧内宏块和相关第三类帧内宏块。
例如，可以根据目标参考像素xref_opt、yref_opt解码当前第三类帧内宏块和相关第三类帧内宏块。
以上的实施例使用了图4-6及图8所示的流程图来说明根据本申请的实施例的方法所执行的步骤/操作。应当理解的是，以上步骤/操作不一定按照顺序来精确地执行，而是可以改变顺序或同时处理各种步骤/操作。同时，或将其他步骤/操作添加到这些步骤/操作中，或从这些步骤/操作移除某一步或数步。
在本发明的另一实施例中，当判断第n个图像帧有丢包差错时，还可以包括：尝试解码第n个图像帧；以及判断解码能否获得一个或多个宏块，如果是，则差错隐藏操作包括参考一个或多个宏块以及第n个图像帧之前的一个或多个图像帧进行差错隐藏，否则丢弃第n个图像帧。
图10是本发明另一实施例的一种图像帧差错隐藏方法的流程图。下面结合图10对该图像帧差错隐藏方法进行说明，该方法包含以下步骤：
步骤1010，判断第n个图像帧是否有丢包差错。
如果判断第n个图像帧没有丢包差错则直接结束，如果判断第n个图像帧有丢包差错则继续执行以下步骤。
步骤1020，不对第n个图像帧进行差错隐藏。
在判断第n个图像帧有丢包差错后，不对第n个图像帧进行差错隐藏。
步骤1030，尝试解码第n个图像帧。
步骤1040，判断解码能否获得一个或多个宏块。
判断对第n个图像帧的解码能否获得一个或多个宏块。如果不能获得一个或多个宏块则进入步骤1050，如果能获得一个或多个宏块则进入步骤1060。
步骤1050，丢弃第n个图像帧，且参考第n个图像帧之前的一个或多个图像帧，对第n+1个图像帧进行差错隐藏。其中不显示第n个图像帧，且n为大于等于2的整数。
例如，差错隐藏操作可以参考第n-1个图像帧、第n-2个图像帧…和第n-m个图像帧中的一个或多个图像帧进行。其中，n为大于等于2的整数，m为小于n的正整数。
在本发明的一些示例中，该差错隐藏操作优先参考第n个图像帧之前的且距离第n个图像帧最近的图像帧进行。优选的，该差错隐藏操作可以仅参考第n-1个图像帧进行。
步骤1060，参考解码出的第n个图像帧的一个或多个宏块以及第n个图像帧之前的一个或多个图像帧，对第n+1个图像帧进行差错隐藏。其中不显示第n个图像帧，且n为大于等于2的整数。
例如，差错隐藏操作可以包括参考解码出的第n个图像帧的一个或多个宏块以及第n-1个图像帧、第n-2个图像帧…和第n-m个图像帧中的一个或多个图像帧进行。其中，n为大于等于2的整数，m为小于n的正整数。
在本发明的一些示例中，该差错隐藏操作优先参考解码出的第n个图像帧的一个或多个宏块以及第n个图像帧之前的且距离第n个图像帧最近的图像帧进行。优选的，该差错隐藏操作可以仅参考解码出的第n个图像帧的一个或多个宏块以及第n-1个图像帧进行。
应当注意，在尝试解码第n个图像帧之后，无论能否获得一个或多个宏块，都不显示第n个图像帧，从而不会对显示质量造成影响。
在本发明的一些实施例中，上述图像帧差错隐藏方法还可以包括对第n+2个图像帧进行解码，解码操作参考第n+1个图像帧进行。
例如在图10所示的示例中，步骤1050之后，还可以包括对第n+2个图像帧进行解码(图未示)，该解码操作参考第n+1个图像帧进行。
图11是本发明另一实施例的一种图像帧差错隐藏方法的对第n+1个图像帧进行差错隐藏的流程图。参考图11所示，在本发明的一实施例中，对第n+1个图像帧进行差错隐藏的步骤包括：
步骤1110，对第n+1个图像帧中的能够直接独立解码的第一类帧内宏块进行解码。
步骤1120，对第n+1个图像帧中仅依赖于能够直接独立解码的第一类帧内宏块的第二类帧内宏块进行解码。
步骤1130，参考第n个图像帧的一个或多个宏块和第n个图像帧之前的一个或多个图像帧，对第n+1个图像帧中的帧间宏块进行差错隐藏。
步骤1140，对第n+1个图像帧中不能够直接独立解码的第三类帧内宏块进行差错隐藏。
图12是本发明另一实施例的一种图像帧差错隐藏方法的对第n+1个图像帧中的帧间宏块进行差错隐藏的流程图。在本发明的一实施例中，上述步骤1130中，参考第n个图像帧之前的一个或多个图像帧，对第n+1个图像帧中的帧间宏块进行差错隐藏的步骤可以包括：
步骤1210，解码帧间宏块的运动矢量。
示例性的，该帧间宏块可以只包含一个或多个运动矢量。
步骤1220，计算候选运动矢量。
示例性的，可以按照以下方式计算候选运动矢量：
MVcurr＝当前块运动矢量*Ratio1
MVleft＝当前左侧块运动矢量*Ratio1
MVtop＝当前上侧块运动矢量*Ratio1
MVTemp＝第n-1帧相同位置块运动矢量*Ratio2
其中，MV为候选运动矢量；Ratio1为第n+1帧与第n-1帧的时间间隔/第n+1帧与第n帧的时间间隔；Ratio2为第n+1帧与第n-1帧的时间间隔/第n-1帧与第n-2帧的时间间隔。
在本发明的一些实施例中，在步骤1220后还可以包括根据候选运动矢量建立候选运动矢量列表，该候选运动矢量列表包含MVcurr、MVleft、MVtop、MVTemp中的一项或多项。
步骤1230，根据运动矢量确定参考宏块所在的图像帧位置。
步骤1240，当参考宏块在第n个图像帧时，直接根据参考宏块解码帧间宏块，并结束流程。
如果第n帧已解码区域包含参考宏块时，则直接根据该参考宏块解码出正确的帧间宏块，然后结束流程。
步骤1250，当参考宏块在第n个图像帧之前的一个或多个图像帧时，从候选运动矢量中选取目标运动矢量。
如果第n帧已解码区域未包含参考宏块且该参考宏块在第n个图像帧之前的一个或多个图像帧时，从候选运动矢量列表中选取目标运动矢量。
示例性的，可以按照边界匹配原则从候选运动矢量列表中选取目标运动矢量。例如，可以按照边界匹配原则依次计算候选矢量列表中各个参考宏块与当前周围图像的误差，选取出最小误差的候选运动矢量。然后再次按照边界匹配原则对候选运动矢量进行筛选，并得到目标运动矢量MVopt。
在一些示例中，可以在最小误差的候选运动矢量的2个像素点范围内再次按照边界匹配原则对候选运动矢量进行筛选，并可以根据需要选择是否采用1/4像素精度。例如，MVX的范围可以是[MVXopt-2,MVXopt+1]，MVY的范围可以是[MVYopt-2,MVYopt+1]。其中，MVX、MVY为候选运动矢量。
步骤1260，根据目标运动矢量从第n个图像帧之前的一个或多个图像帧中获取参考宏块，并根据参考宏块解码当前的帧间宏块。
例如，在图7所示的一个示例中，根据目标运动矢量从第n-1个图像帧中获取参考宏块，并根据参考宏块解码当前的帧间宏块。
参考图8所示，在本发明的一些实施例中，图11所示的步骤1140中，对第n+1个图像帧中不能够直接独立解码的第三类帧内宏块进行差错隐藏的步骤包括：
步骤810，获取当前第三类帧内宏块的预测模式。
步骤820，在剩余的第三类帧内宏块中搜索以当前第三类帧内宏块为参考宏块，且预测模式相同的相关第三类帧内宏块。
步骤830，获取当前第三类帧内宏块和相关第三类帧内宏块的多组候选参考像素。
步骤840，使用多组候选参考像素对当前第三类帧内宏块和相关第三类帧内宏块进行解码以选取目标参考像素。
步骤850，根据目标参考像素解码当前第三类帧内宏块和相关第三类帧内宏块。
本实施例的其他实施细节可参考图8至图9所描述的实施例，在此不再展开。
图13是本发明一实施例的采用图像帧差错隐藏方法的视频电话业务的图像帧解码的示意图。参考图13所示，对于第n-1帧至第n+m-1帧的帧间(inter)编码帧，由于图像的第n+2帧及其之后的每一帧需要参考其前一帧，例如图像的第n+2帧需要参考第n+1帧，当对图像的第n+1帧进行差错隐藏后，第n+2帧以及其后的依次各帧(第n+3帧，…第n+m-1帧)将可以按照正常流程解码。其中n为大于等于2的整数，m为大于等于2的整数。
相比于图3所示的现有的视频电话业务的图像帧解码，本发明的一种图像帧差错隐藏方法通过对图像的第n+1帧进行差错隐藏后，使得第n+2图像帧以及其后的各图像帧的数据解码差错得到有效的控制，减少了物体破碎等马赛克现象，从而恢复出正确的图像。
以上的实施例使用了图10-12及图8所示的流程图来说明根据本申请的实施例的方法所执行的步骤/操作。应当理解的是，以上步骤/操作不一定按照顺序来精确地执行，而是可以改变顺序或同时处理各种步骤/操作。同时，或将其他步骤/操作添加到这些步骤/操作中，或从这些步骤/操作移除某一步或数步。
本发明的以上实施例描述了一种图像帧差错隐藏方法，该图像帧差错隐藏方法可以有效提高图像的质量。
本发明的另一方面提供一种图像帧差错隐藏装置，该图像帧差错隐藏装置可以有效提高图像的质量。
图14是本发明一实施例的一种图像帧差错隐藏装置的示意图。图4至图13所示的本发明一实施例的一种图像帧差错隐藏方法可以在图14所示的图像帧差错隐藏装置1400或其变化例中实施，但本发明的实施例并不以此为限。
应当理解，图14所示的图像帧差错隐藏装置1400还可以集成在处理器中，并与存储器等其他组件构成解码装置。
参考图14所示，该图像帧差错隐藏装置1400包括差错检测模块1410和差错隐藏模块1420。差错检测模块1410用于判断第n个图像帧是否有丢包差错。差错隐藏模块1420用于当第n个图像帧有丢包差错时不修复第n个图像帧，且对第n+1个图像帧进行差错隐藏。其中差错隐藏操作参考第n个图像帧之前的一个或多个图像帧进行，其中n为大于等于2的整数。
在一些实施例中，差错隐藏模块1420还用于对第n+2个图像帧进行解码，解码操作参考第n+1个图像帧进行。
参考图14所示，在本发明的一实施例中，差错隐藏模块1420还可以包括：第一解码单元1421、第二解码单元1422、第一差错隐藏单元1423以及第二差错隐藏单元1424。
第一解码单元1421用于对第n+1个图像帧中的能够直接独立解码的第一类帧内宏块进行解码。第二解码单元1422用于对第n+1个图像帧中仅依赖于能够直接独立解码的第一类帧内宏块的第二类帧内宏块进行解码。第一差错隐藏单元1423用于参考第n个图像帧之前的一个或多个图像帧，对第n+1个图像帧中的帧间宏块进行差错隐藏。第二差错隐藏单元1424用于对第n+1个图像帧中不能够直接独立解码的第三类帧内宏块进行差错隐藏。
在本发明的一实施例中，第一差错隐藏单元1423配置为按照如下方式进行差错隐藏：解码帧间宏块的运动矢量；计算候选运动矢量；从候选运动矢量中选取目标运动矢量；根据目标运动矢量从第n个图像帧之前的一个或多个图像帧中获取参考宏块，并根据参考宏块解码当前的帧间宏块。
参考图14所示，在本发明的另一实施例中，差错隐藏模块1420还用于当判断第n个图像帧有丢包差错时，尝试解码第n个图像帧，且判断解码能否获得一个或多个宏块。其中如果解码能获得一个或多个宏块，则差错隐藏模块1420参考一个或多个宏块以及第n个图像帧之前的一个或多个图像帧进行差错隐藏，如果解码不能获得一个或多个宏块，则差错隐藏模块1420丢弃第n个图像帧，其中不显示第n个图像帧。
在一些实施例中，差错隐藏模块1420还用于对第n+2个图像帧进行解码，解码操作参考第n+1个图像帧进行。
第一解码单元1421用于对第n+1个图像帧中的能够直接独立解码的第一类帧内宏块进行解码。第二解码单元1422，用于对第n+1个图像帧中仅依赖于能够直接独立解码的第一类帧内宏块的第二类帧内宏块进行解码。第一差错隐藏单元1423，用于参考第n个图像帧的一个或多个宏块和第n个图像帧之前的一个或多个图像帧，对第n+1个图像帧中的帧间宏块进行差错隐藏。第二差错隐藏单元1424，用于对第n+1个图像帧中不能够直接独立解码的第三类帧内宏块进行差错隐藏。
第一差错隐藏单元1423可以配置为按照如下方式进行差错隐藏：解码帧间宏块的运动矢量；计算候选运动矢量；根据运动矢量确定参考宏块所在的图像帧位置；当参考宏块在第n个图像帧时，直接根据参考宏块解码帧间宏块，并结束流程；当参考宏块在第n个图像帧之前的一个或多个图像帧时，从候选运动矢量中选取目标运动矢量；根据目标运动矢量从第n个图像帧之前的一个或多个图像帧中获取参考宏块，并根据参考宏块解码当前的帧间宏块。
在本发明的一实施例中，第二差错隐藏单元1424配置为按照如下方式进行差错隐藏：获取当前第三类帧内宏块的预测模式；在剩余的第三类帧内宏块中搜索以当前第三类帧内宏块为参考宏块，且预测模式相同的相关第三类帧内宏块；获取当前第三类帧内宏块和相关第三类帧内宏块的多组候选参考像素；使用多组候选参考像素对当前第三类帧内宏块和相关第三类帧内宏块进行解码以选取目标参考像素；根据目标参考像素解码当前第三类帧内宏块和相关第三类帧内宏块。
本实施例的图像帧差错隐藏装置的其他实施细节可参考图4至图13所描述的实施例，在此不再展开。
本发明的另一方面提供一种解码装置，该解码装置可以有效提高图像的质量。
图15是本发明一实施例的一种解码装置的示意图。参考图15所示，该解码装置1500包括存储器1501和处理器1502。存储器1501用于存储可由处理器执行的指令。处理器1502用于执行指令以实现上述图像帧差错隐藏方法。
在本发明的一些实施例中，解码装置1500还包括通信端口1503、输入/输出设备1504以及内部通信总线1505。
通信端口1503可以负责解码装置1500与外部设备(图未示)之间的数据通信。输入/输出设备1504可以支持解码装置1500与其他部件之间的输入/输出数据流。作为举例，输入/输出设备1504可以包括以下的部件的一种或多种：键盘、鼠标、摄像头、显示器、扫描仪、触摸屏、手写输入板和麦克风等输入设备或上述的任意组合。输入/输出设备1504既可以将各种数值型的数据，也可以将各种非数值型的数据，如图形、影像、声音等输入到解码装置1500中。内部通信总线1505可以实现解码装置1500各部件之间的数据通信。
可以理解，本申请的一种图像帧差错隐藏方法并不限于由一个解码装置实施，而是可以由多个联机的解码装置协同实施。联机的解码装置可以通过局域网或者广域网连接和通信。
本实施例的解码装置的其他实施细节可参考图4至图13所描述的实施例，在此不再展开。
示例性的，当图15所示的解码装置1500中的输入设备为摄像头，输出设备为显示屏时，一个或多个联机的解码装置1500以及外部设备或外部网络的组合可以实施为VOLTE视频电话系统。
图16是本发明一实施例的VOLTE视频电话系统的示意图。参考图16所示，灰色箭头为上行数据流，黑色箭头为下行数据流，其中下行H.264视频解码器集成本发明一实施例的一种图像帧差错隐藏方法。
该VOLTE视频电话系统的上行数据流程包括：摄像头采集图像；使用H.264编码器将图像编码为视频数据帧；将数据帧打包为RTP分组；通过Socket网络接口发送RTP数据；最后通过LTE承载发送至核心网络。
该VOLTE视频电话系统的下行数据流程包括：LTE承载收到核心网转发的视频数据；通过Socket网络接口获取RTP数据；解析RTP数据包，同时检测数据丢包情况，如果没有数据丢包则输出完整的视频图像帧，否则输出不完整的图像帧；解码器对图像帧进行处理，如果图像帧完整则按照H.264标准解码，否则按照本发明的一种图像帧差错隐藏方法，尝试解码不完整的图像帧(可以显示，也可以不显示而仅作为参考)，等下一帧到来后进行差错隐藏处理，输出修复的视频图像；最后将解码器输出的视频图像显示到屏幕上。
图17是具有多种视频图像修复机制的系统的示意图。参考图17所示，本发明提出的一种图像帧差错隐藏方法可以是通过在图17所示的视频解码器环节来实现。而现有技术中数据重传以及各种解码器与传输层配合实现的修复方法则是基于传输层实现的。由于二者在实现方法以及修复效果上的不同，在实际应用中，常常需要将以上两种或更多种不同层次、不同方法的修复机制组合在一起实施，才能实现更为理想的图像修复效果。
本发明的另一方面提供一种存储有计算机程序代码的计算机可读介质，该计算机程序代码在由处理器执行时实现如上所述的方法。
在本发明的一实施例中，计算机程序代码可以由图15所示的解码装置1500中的处理器1502执行时实现如上所述的方法。
举例来说，本申请的一种图像帧差错隐藏方法可以实施为一种图像帧差错隐藏方法的程序，保存在存储器1501中，并可加载到处理器1502中执行，以实施本申请的方法。
本申请的一种图像帧差错隐藏方法实施为计算机程序时，也可以存储在有计算机程序代码的计算机可读介质中作为制品。例如，计算机可读存储介质可以包括但不限于磁存储设备(例如，硬盘、软盘、磁条)、光盘(例如，压缩盘(CD)、数字多功能盘(DVD))、智能卡和闪存设备(例如，电可擦除可编程只读存储器(EPROM)、卡、棒、键驱动)。此外，本文描述的各种存储介质能代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可以包括但不限于能存储、包含和/或承载代码和/或指令和/或数据的无线信道和各种其它介质(和/或存储介质)。
应该理解，上文所描述的实施例仅是示意。本文描述的实施例可在硬件、软件、固件、中间件、微码或者其任意组合中实现。对于硬件实现，处理单元可以在一个或者多个特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器和/或设计为执行本文所述功能的其它电子单元或者其结合内实现。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述发明披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个申请实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，在没有脱离本发明精神的情况下还可作出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。

Claims (18)

1.一种图像帧差错隐藏方法，包括以下步骤：
判断第n个图像帧是否有丢包差错，如果是则不对所述第n个图像帧进行差错隐藏；以及
对第n+1个图像帧进行差错隐藏，其中所述差错隐藏操作包括参考所述第n个图像帧之前的一个或多个图像帧进行，其中n为大于等于2的整数；
其中，对第n+1个图像帧进行差错隐藏的步骤包括：
对所述第n+1个图像帧中的能够直接独立解码的第一类帧内宏块进行解码；
对所述第n+1个图像帧中仅依赖于所述第一类帧内宏块的第二类帧内宏块进行解码；
参考所述第n个图像帧之前的一个或多个图像帧，对所述第n+1个图像帧中的帧间宏块进行差错隐藏；以及
对所述第n+1个图像帧中不能够直接独立解码的第三类帧内宏块进行差错隐藏。
2.根据权利要求1所述的方法，其特征在于，还包括对第n+2个图像帧进行解码，所述解码操作参考所述第n+1个图像帧进行。
3.根据权利要求1所述的方法，其特征在于，参考所述第n个图像帧之前的一个或多个图像帧，对所述第n+1个图像帧中的帧间宏块进行差错隐藏的步骤包括：
解码所述帧间宏块的运动矢量；
计算候选运动矢量；
从所述候选运动矢量中选取目标运动矢量；
根据所述目标运动矢量从所述第n个图像帧之前的一个或多个图像帧中获取参考宏块，并根据所述参考宏块解码当前的帧间宏块。
4.根据权利要求1所述的方法，其特征在于，对所述第n+1个图像帧中不能够直接独立解码的第三类帧内宏块进行差错隐藏的步骤包括：
获取当前第三类帧内宏块的预测模式；
在剩余的第三类帧内宏块中搜索以当前第三类帧内宏块为参考宏块，且预测模式相同的相关第三类帧内宏块；
获取所述当前第三类帧内宏块和所述相关第三类帧内宏块的多组候选参考像素；
使用所述多组候选参考像素对所述当前第三类帧内宏块和所述相关第三类帧内宏块进行解码以选取目标参考像素；以及
根据所述目标参考像素解码所述当前第三类帧内宏块和所述相关第三类帧内宏块。
5.一种图像帧差错隐藏方法，包括以下步骤：
判断第n个图像帧是否有丢包差错，如果是则不对所述第n个图像帧进行差错隐藏；以及
对第n+1个图像帧进行差错隐藏，其中所述差错隐藏操作包括参考所述第n个图像帧之前的一个或多个图像帧进行，其中n为大于等于2的整数；
当判断所述第n个图像帧有丢包差错时，还包括：
尝试解码所述第n个图像帧；以及
判断所述解码能否获得一个或多个宏块，如果是，则所述差错隐藏操作参考所述一个或多个宏块以及所述第n个图像帧之前的一个或多个图像帧进行差错隐藏，否则丢弃所述第n个图像帧；
其中不显示所述第n个图像帧；
其中，对第n+1个图像帧进行差错隐藏的步骤包括：
对所述第n+1个图像帧中的能够直接独立解码的第一类帧内宏块进行解码；
对所述第n+1个图像帧中仅依赖于所述能够直接独立解码的第一类帧内宏块的第二类帧内宏块进行解码；
参考所述第n个图像帧的一个或多个宏块和所述第n个图像帧之前的一个或多个图像帧，对所述第n+1个图像帧中的帧间宏块进行差错隐藏；以及
对所述第n+1个图像帧中不能够直接独立解码的第三类帧内宏块进行差错隐藏。
6.根据权利要求5所述的方法，其特征在于，还包括对第n+2个图像帧进行解码，所述解码操作参考所述第n+1个图像帧进行。
7.根据权利要求5所述的方法，其特征在于，参考所述第n个图像帧之前的一个或多个图像帧，对所述第n+1个图像帧中的帧间宏块进行差错隐藏的步骤包括：
解码所述帧间宏块的运动矢量；
计算候选运动矢量；
根据所述运动矢量确定参考宏块所在的图像帧位置；
当所述参考宏块在所述第n个图像帧时，直接根据所述参考宏块解码所述帧间宏块，并结束流程；
当所述参考宏块在所述第n个图像帧之前的一个或多个图像帧时，从所述候选运动矢量中选取目标运动矢量；以及
根据所述目标运动矢量从所述第n个图像帧之前的一个或多个图像帧中获取参考宏块，并根据所述参考宏块解码当前的帧间宏块。
8.根据权利要求5所述的方法，其特征在于，对所述第n+1个图像帧中不能够直接独立解码的第三类帧内宏块进行差错隐藏的步骤包括：
获取当前第三类帧内宏块的预测模式；
在剩余的第三类帧内宏块中搜索以当前第三类帧内宏块为参考宏块，且预测模式相同的相关第三类帧内宏块；
获取所述当前第三类帧内宏块和所述相关第三类帧内宏块的多组候选参考像素；
使用所述多组候选参考像素对所述当前第三类帧内宏块和所述相关第三类帧内宏块进行解码以选取目标参考像素；以及
根据所述目标参考像素解码所述当前第三类帧内宏块和所述相关第三类帧内宏块。
9.一种图像帧差错隐藏装置，包括：
差错检测模块，用于判断第n个图像帧是否有丢包差错；以及
差错隐藏模块，用于当所述第n个图像帧有丢包差错时不修复所述第n个图像帧，且对第n+1个图像帧进行差错隐藏，其中所述差错隐藏操作包括参考所述第n个图像帧之前的一个或多个图像帧进行，其中n为大于等于2的整数；
其中，所述差错隐藏模块包括：
第一解码单元，用于对所述第n+1个图像帧中的能够直接独立解码的第一类帧内宏块进行解码；
第二解码单元，用于对所述第n+1个图像帧中仅依赖于所述能够直接独立解码的第一类帧内宏块的第二类帧内宏块进行解码；
第一差错隐藏单元，用于参考所述第n个图像帧之前的一个或多个图像帧，对所述第n+1个图像帧中的帧间宏块进行差错隐藏；以及
第二差错隐藏单元，用于对所述第n+1个图像帧中不能够直接独立解码的第三类帧内宏块进行差错隐藏。
10.根据权利要求9所述的装置，其特征在于，所述差错隐藏模块还用于对第n+2个图像帧进行解码，所述解码操作参考所述第n+1个图像帧进行。
11.根据权利要求9所述的装置，其特征在于，所述第一差错隐藏单元配置为按照如下方式进行差错隐藏：
解码所述帧间宏块的运动矢量；
计算候选运动矢量；
从所述候选运动矢量中选取目标运动矢量；
根据所述目标运动矢量从所述第n个图像帧之前的一个或多个图像帧中获取参考宏块，并根据所述参考宏块解码当前的帧间宏块。
12.根据权利要求9所述的装置，其特征在于，所述第二差错隐藏单元配置为按照如下方式进行差错隐藏：
获取当前第三类帧内宏块的预测模式；
在剩余的第三类帧内宏块中搜索以当前第三类帧内宏块为参考宏块，且预测模式相同的相关第三类帧内宏块；
获取所述当前第三类帧内宏块和所述相关第三类帧内宏块的多组候选参考像素；
使用所述多组候选参考像素对所述当前第三类帧内宏块和所述相关第三类帧内宏块进行解码以选取目标参考像素；以及
根据所述目标参考像素解码所述当前第三类帧内宏块和所述相关第三类帧内宏块。
13.一种图像帧差错隐藏装置，包括：
差错检测模块，用于判断第n个图像帧是否有丢包差错；以及
差错隐藏模块，用于当所述第n个图像帧有丢包差错时不修复所述第n个图像帧，且对第n+1个图像帧进行差错隐藏，其中所述差错隐藏操作包括参考所述第n个图像帧之前的一个或多个图像帧进行，其中n为大于等于2的整数；
其中，所述差错隐藏模块还用于当判断所述第n个图像帧有丢包差错时，尝试解码所述第n个图像帧，且判断所述解码能否获得一个或多个宏块；
其中如果所述解码能获得一个或多个宏块，则所述差错隐藏模块参考所述一个或多个宏块以及所述第n个图像帧之前的一个或多个图像帧进行差错隐藏，如果所述解码不能获得一个或多个宏块，则所述差错隐藏模块丢弃所述第n个图像帧；
其中不显示所述第n个图像帧；
所述差错隐藏模块包括：
第一解码单元，用于对所述第n+1个图像帧中的能够直接独立解码的第一类帧内宏块进行解码；
第二解码单元，用于对所述第n+1个图像帧中仅依赖于所述能够直接独立解码的第一类帧内宏块的第二类帧内宏块进行解码；
第一差错隐藏单元，用于参考所述第n个图像帧的一个或多个宏块和所述第n个图像帧之前的一个或多个图像帧，对所述第n+1个图像帧中的帧间宏块进行差错隐藏；以及
第二差错隐藏单元，用于对所述第n+1个图像帧中不能够直接独立解码的第三类帧内宏块进行差错隐藏。
14.根据权利要求13所述的装置，其特征在于，所述差错隐藏模块还用于对第n+2个图像帧进行解码，所述解码操作参考所述第n+1个图像帧进行。
15.根据权利要求13所述的装置，其特征在于，所述第一差错隐藏单元配置为按照如下方式进行差错隐藏：
解码所述帧间宏块的运动矢量；
计算候选运动矢量；
根据所述运动矢量确定参考宏块所在的图像帧位置；
当所述参考宏块在所述第n个图像帧时，直接根据所述参考宏块解码所述帧间宏块，并结束流程；
当所述参考宏块在所述第n个图像帧之前的一个或多个图像帧时，从所述候选运动矢量中选取目标运动矢量；以及
根据所述目标运动矢量从所述第n个图像帧之前的一个或多个图像帧中获取参考宏块，并根据所述参考宏块解码当前的帧间宏块。
16.根据权利要求13所述的装置，其特征在于，所述第二差错隐藏单元配置为按照如下方式进行差错隐藏：
获取当前第三类帧内宏块的预测模式；
在剩余的第三类帧内宏块中搜索以当前第三类帧内宏块为参考宏块，且预测模式相同的相关第三类帧内宏块；
获取所述当前第三类帧内宏块和所述相关第三类帧内宏块的多组候选参考像素；
使用所述多组候选参考像素对所述当前第三类帧内宏块和所述相关第三类帧内宏块进行解码以选取目标参考像素；以及
根据所述目标参考像素解码所述当前第三类帧内宏块和所述相关第三类帧内宏块。
17.一种解码装置，包括：
存储器，用于存储可由处理器执行的计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1-8任一项所述的方法。
18.一种存储有计算机程序的计算机可读介质，所述计算机程序在由处理器执行时实现如权利要求1-8任一项所述的方法。
CN201910576978.5A 2019-06-28 2019-06-28 图像帧差错隐藏方法及装置 Active CN110278436B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910576978.5A CN110278436B (zh) 2019-06-28 2019-06-28 图像帧差错隐藏方法及装置
PCT/CN2019/123890 WO2020258737A1 (zh) 2019-06-28 2019-12-09 图像帧差错隐藏方法及装置
US17/616,555 US20220239955A1 (en) 2019-06-28 2019-12-09 Image frame error concealment method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910576978.5A CN110278436B (zh) 2019-06-28 2019-06-28 图像帧差错隐藏方法及装置

Publications (2)

Publication Number Publication Date
CN110278436A CN110278436A (zh) 2019-09-24
CN110278436B true CN110278436B (zh) 2021-04-27

Family

ID=67962614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910576978.5A Active CN110278436B (zh) 2019-06-28 2019-06-28 图像帧差错隐藏方法及装置

Country Status (3)

Country Link
US (1) US20220239955A1 (zh)
CN (1) CN110278436B (zh)
WO (1) WO2020258737A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110278436B (zh) * 2019-06-28 2021-04-27 瓴盛科技有限公司 图像帧差错隐藏方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1214636C (zh) * 2002-05-28 2005-08-10 华为技术有限公司 视讯系统中的错误掩盖方法
CN101193313A (zh) * 2006-11-20 2008-06-04 中兴通讯股份有限公司 一种视频解码的时域错误隐蔽方法
CN101193312B (zh) * 2006-11-22 2011-01-05 中兴通讯股份有限公司 基于反馈的自适应错误恢复装置、视频通信系统和方法
KR100862662B1 (ko) * 2006-11-28 2008-10-10 삼성전자주식회사 프레임 오류 은닉 방법 및 장치, 이를 이용한 오디오 신호복호화 방법 및 장치
CN103067703A (zh) * 2012-12-11 2013-04-24 渭南高新区晨星专利技术咨询有限公司 减小传输带宽的网络视频通信系统和方法
CN104751851B (zh) * 2013-12-30 2018-04-27 联芯科技有限公司 一种基于前后向联合估计的丢帧差错隐藏方法及系统
US9306987B2 (en) * 2014-04-29 2016-04-05 Cisco Technology, Inc. Content message for video conferencing
CN107112022B (zh) * 2014-07-28 2020-11-10 三星电子株式会社 用于时域数据包丢失隐藏的方法
CN109120943B (zh) * 2018-10-10 2021-02-23 鲍金龙 视频数据恢复方法及装置
CN110278436B (zh) * 2019-06-28 2021-04-27 瓴盛科技有限公司 图像帧差错隐藏方法及装置

Also Published As

Publication number Publication date
WO2020258737A1 (zh) 2020-12-30
US20220239955A1 (en) 2022-07-28
CN110278436A (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
US10205953B2 (en) Object detection informed encoding
CN110166771B (zh) 视频编码方法、装置、计算机设备和存储介质
US9602819B2 (en) Display quality in a variable resolution video coder/decoder system
US9307241B2 (en) Video encoding method and a video encoding apparatus using the same
CN110730353B (zh) 视频解码方法和装置、计算机设备、存储介质
US20120307904A1 (en) Partial frame utilization in video codecs
CN116156197A (zh) 视频解码、编码方法和装置、计算机设备及存储介质
CN107205156B (zh) 通过缩放的运动矢量预测
US11949879B2 (en) Video coding method and apparatus, computer device, and storage medium
CN113905234A (zh) 视频图像处理方法与装置
US20220148131A1 (en) Image/video super resolution
CN110278436B (zh) 图像帧差错隐藏方法及装置
WO2022251828A1 (en) Content-adaptive online training method and apparatus for post-filtering
US20240195983A1 (en) Mmvd signaling improvement
CN112449182A (zh) 视频编码方法、装置、设备及存储介质
CN115361582B (zh) 一种视频实时超分辨率处理方法、装置、终端及存储介质
CN112040243B (zh) 获取运动矢量的方法和装置
Antony et al. Highly efficient near lossless video compression using selective intra prediction for HEVC lossless mode
EP4107952A1 (en) Block-wise content-adaptive online training in neural image compression with post filtering
CN113225558A (zh) 平滑定向和dc帧内预测
CN110784719B (zh) 在视频注释的存在下视频数据的高效编码
US20220360770A1 (en) Block-wise content-adaptive online training in neural image compression with post filtering
US20230291908A1 (en) Affine estimation in pre-analysis of encoder
US20150350688A1 (en) I-frame flashing fix in video encoding and decoding
RU2793708C1 (ru) Способ и устройство для передачи размера списка кандидатов-предикторов для внутрикадровой компенсации блока

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant