CN103167283A - 一种视频编码方法及设备 - Google Patents

一种视频编码方法及设备 Download PDF

Info

Publication number
CN103167283A
CN103167283A CN2011104271511A CN201110427151A CN103167283A CN 103167283 A CN103167283 A CN 103167283A CN 2011104271511 A CN2011104271511 A CN 2011104271511A CN 201110427151 A CN201110427151 A CN 201110427151A CN 103167283 A CN103167283 A CN 103167283A
Authority
CN
China
Prior art keywords
frame
coding
long term
term reference
reference frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011104271511A
Other languages
English (en)
Other versions
CN103167283B (zh
Inventor
王浦林
李军华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yongtai County State owned asset management company
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201110427151.1A priority Critical patent/CN103167283B/zh
Priority to EP12859908.1A priority patent/EP2775712A4/en
Priority to PCT/CN2012/080438 priority patent/WO2013091391A1/zh
Publication of CN103167283A publication Critical patent/CN103167283A/zh
Priority to US14/308,791 priority patent/US20140321545A1/en
Application granted granted Critical
Publication of CN103167283B publication Critical patent/CN103167283B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供一种视频编码方法及设备，涉及视频编码技术领域，以解决编码或解码端出现不可恢复的错误时，作为背景帧的长期参考帧不可用的问题以及当前帧与相邻帧图像内容不连贯时，解码端显示输出该当前帧导致的显示后图像闪烁的问题。方法包括：输入待编码的视频图像；对当前帧进行编码，指定该当前帧为长期参考帧；参考该长期参考帧，对视频图像的各帧进行编码，将编码后得到的数据包向解码端发送；接收到解码端发送的刷新帧申请后，若确定长期参考帧仍作为编码的参考帧，则向解码端发送一个非IDR帧图像，该非IDR帧图像的宏块包括参考该长期参考帧编码的宏块，和/或，参考帧内宏块编码的宏块。本发明实施例用于视频编码。

Description

一种视频编码方法及设备
技术领域
本发明涉及视频编码技术领域，尤其涉及一种视频编码方法及设备。
背景技术
一般情况下，运动图像相邻帧间的内容实际上没有太大的变化(场景切换等除外)，即图像序列具有很强的时间相关性。因此，可以利用图像序列的时间相关性，使用之前的某一帧图像数据作为参考帧来预测下一帧图像的数据，从而只传输两者的差值，以此来减少要传输的数据量。
参考帧分为短期参考帧和长期参考帧。对于短期参考帧而言，在参考帧列表中，短期参考帧采用先进先出的机制，当解码出新的图像以后，就会将前面的短期参考帧从参考图像列表中移除。长期参考帧与短期参考帧不同，长期参考帧会长期存在于参考图像列表中，一直作为后面的图像的参考，直到使用特定的语法元素标定该长期参考帧不作为参考帧为止。
在视频编码过程中，当图像背景未变化而相邻帧间的图像内容发生运动时，例如，第n+1帧为要编码的当前图像，第n帧为当前图像的短期参考图像，对于第n+1帧和第n帧图像中的某一相同位置区域而言，如果第n帧图像中的该区域是图像内容，该图像内容正在运动，第n+1帧图像中的相同位置区域变为了图像背景。若以第n帧为短期参考帧预测编码第n+1帧图像，在上述区域内，将参考第n帧的图像内容预测第n+1帧的图像背景，这将产生很大的残差，因此编码器会选择“intra(帧内)”模式编码第n+1帧。而如果选择背景帧为长期参考帧，参考该长期参考帧进行编码，由于该长期参考帧中的内容与第n+1帧与第n帧存在变化的区域的背景完全相同，因此编码器会选择“skip(跳过)”模式编码该区域内的宏块。相比而言，“skip”模式会比“intra”模式大大的节省码率。可见，参考长期参考帧进行编码的压缩效率要高于参考短期参考帧。
现有技术中，参考长期参考帧进行编码通常存在以下问题。当编码或解码端出现不可恢复的错误时，必须发送一个IDR(InstantaneousDecoding Refresh，即时解码刷新)帧清空参考图像缓存，这将同时清空作为背景帧的长期参考帧，导致作为背景帧的长期参考帧不可用。此外，若当前帧与相邻帧图像内容不连贯时，解码端显示输出该当前帧将导致显示后的图像发生闪烁。
发明内容
本发明的实施例提供一种视频编码方法及设备，以解决编码或解码端出现不可恢复的错误时，作为背景帧的长期参考帧不可用的问题以及当前帧与相邻帧图像内容不连贯时，解码端显示输出该当前帧导致的显示后图像闪烁的问题。
为达到上述目的，本发明的实施例采用如下技术方案：
本发明实施例的一方面，提供一种视频编码方法，包括：
输入待编码的视频图像。
对根据所述视频图像获取到的当前帧进行编码，指定所述当前帧为长期参考帧。
参考所述长期参考帧，对所述视频图像的各帧进行编码，将编码后得到的数据包向解码端发送。
接收到所述解码端发送的刷新帧申请后，若确定所述长期参考帧仍作为编码的参考帧，则向所述解码端发送一个非IDR帧图像，所述非IDR帧图像的宏块包括参考所述长期参考帧编码的宏块，和/或，参考帧内宏块编码的宏块。
本发明实施例的另一方面，提供一种视频编码方法，包括：
输入待编码的视频图像。
对根据所述视频图像获取到的当前帧进行编码，指定所述当前帧为长期参考帧。
参考所述长期参考帧，对所述视频图像的各帧进行编码，将编码后得到的数据包向解码端发送。
若确定所述当前帧在解码端不需要显示输出时，则编码指示所述当前帧不显示输出；以便所述解码端接收到所述视频图像后不显示所述当前帧。
本发明实施例的另一方面，提供一种视频编码设备，包括：
输入单元，用于输入待编码的视频图像。
编码单元，用于对根据所述视频图像获取到的当前帧进行编码，指定所述当前帧为长期参考帧；参考所述长期参考帧，对所述视频图像的各帧进行编码，将编码后得到的数据包向解码端发送。
接收单元，用于接收所述解码端发送的刷新帧申请。
刷新帧发送单元，用于接收到所述解码端发送的刷新帧申请后，若确定所述长期参考帧仍作为编码的参考帧，则向所述解码端发送一个非IDR帧图像，所述非IDR帧图像的宏块包括参考所述长期参考帧编码的宏块，和/或，参考帧内宏块编码的宏块。
本发明实施例的另一方面，提供一种视频编码设备，包括：
输入单元，用于输入待编码的视频图像。
编码单元，用于对根据所述视频图像获取到的当前帧进行编码，指定所述当前帧为长期参考帧；参考所述长期参考帧，对所述视频图像的各帧进行编码，将编码后得到的数据包向解码端发送。
指示单元，用于若确定所述当前帧在解码端不需要显示输出时，则编码指示所述当前帧不显示输出；以便所述解码端接收到所述视频图像后不显示所述当前帧。
本发明实施例提供的视频编码方法及设备，在参考长期参考帧进行编码的过程中，当接收到解码端发送的刷新帧申请后，若确定长期参考帧仍作为参考帧，则向解码端发送一个参考该长期参考帧编码的图像，和/或向解码端发送一个参考帧内宏块编码的非IDR帧图像。这样一来，由于刷新帧不是IDR帧，因此并不会清空所有的参考图像缓存，作为背景帧的长期参考帧仍然可用。从而避免了编码或解码端出现不可恢复的错误时，作为背景帧的长期参考帧不可用的问题。此外，当确定当前帧不需要显示输出时，编码指示该当前帧不显示输出。这样一来，避免了在当前帧与相邻帧图像内容不连贯时，解码端显示输出该当前帧导致的显示后图像闪烁的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种视频编码方法的流程示意图；
图2为本发明实施例提供的另一视频编码方法的流程示意图；
图3为本发明实施例提供的又一视频编码方法的流程示意图；
图4为本发明实施例提供的又一视频编码方法的流程示意图；
图5为本发明实施例提供的一种视频编码设备的结构示意图；
图6为本发明实施例提供的另一视频编码设备的结构示意图；
图7为本发明实施例提供的另一视频编码设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的视频编码方法，如图1所示，包括：
S101、视频编码设备输入待编码的视频图像。
S102、视频编码设备对根据视频图像获取到的当前帧进行编码，指定该当前帧为长期参考帧。
S103、视频编码设备参考该长期参考帧，对视频图像的各帧进行编码，将编码后得到的数据包向解码端发送。
S104、视频编码设备接收到解码端发送的刷新帧申请后，若确定该长期参考帧仍作为编码的参考帧，则向解码端发送一个非IDR帧图像，该非IDR帧图像的宏块包括参考该长期参考帧编码的宏块，和/或，参考帧内宏块编码的宏块。
本发明实施例提供的视频编码方法，在参考长期参考帧进行编码的过程中，当接收到解码端发送的刷新帧申请后，若确定长期参考帧仍作为参考帧，则向解码端发送一个参考该长期参考帧编码的图像，和/或向解码端发送一个参考帧内宏块编码的非IDR帧图像。这样一来，由于刷新帧不是IDR帧，因此并不会清空所有的参考图像缓存，作为背景帧的长期参考帧仍然可用。从而避免了编码或解码端出现不可恢复的错误时，作为背景帧的长期参考帧不可用的问题。
本发明另一实施例提供的视频编码方法，如图2所示，包括：
S201、视频编码设备输入待编码的视频图像。
S202、视频编码设备对根据视频图像获取到的当前帧进行编码，指定该当前帧为长期参考帧。
S203、视频编码设备参考该长期参考帧，对视频图像的各帧进行编码，将编码后得到的数据包向解码端发送。
S204、若视频编码设备确定当前帧在解码端不需要显示输出时，则编码指示该当前帧不显示输出；以便解码端接收到视频图像后不显示该当前帧。
本发明实施例提供的视频编码方法，当确定当前帧不需要显示输出时，编码指示该当前帧不显示输出。这样一来，避免了在当前帧与相邻帧图像内容不连贯时，解码端显示输出该当前帧导致的显示后图像闪烁的问题。
本发明又一实施例提供的视频编码方法，如图3所示，包括：
S301、视频编码设备输入待编码的视频图像。
S302、视频编码设备对根据视频图像获取到的当前帧进行编码，指定该当前帧为长期参考帧。
具体的，视频编码设备可以从所述视频图像中获取一帧图像作为长期参考帧，或者，从视频图像中，合成至少两帧图像作为长期参考帧，视频编码设备还可以拍摄视频图像中一帧图像的背景图像作为长期参考帧，或者，拍摄视频图像中至少两帧图像的背景图像，合成该至少两帧图像的背景图像作为长期参考帧。
此外，在指定该当前帧为长期参考帧之后，视频编码设备还可以设置该长期参考帧的传输优先级。
例如，在背景基本不变的场景中，作为背景的长期参考图像需要长期作为参考，因此有必要设定该帧图像为高传输优先级，在传输的过程中优先保证该帧码流传输的正确性。
S303、视频编码设备参考该长期参考帧，对视频图像的各帧进行编码，将编码后得到数据包向解码端发送。
S304、视频编码设备接收到解码端发送的刷新帧申请后，若确定该长期参考帧仍作为编码的参考帧，则向解码端发送一个非IDR帧图像，该非IDR帧图像的宏块包括参考该长期参考帧编码的宏块，和/或，参考帧内宏块编码的宏块。
具体的，当编码或解码端出现不可恢复的错误时，由于该错误是参考此时的短期参考帧编码而出现的，因此该短期参考帧将不再作为参考，解码端会向视频编码设备发送刷新帧申请。
视频编码设备接收到解码端发送的刷新帧申请后，首先判断是否必须清空所有的参考图像缓存，若确定短期参考帧和长期参考帧均不再作为参考帧，则向解码端发送一个IDR帧图像，清空包括短期参考帧和长期参考帧在内的所有的参考图像缓存。若确定长期参考帧仍作为参考帧，而只需要清空短期参考帧，则向解码端发送一个非IDR帧图像，该非IDR帧图像的宏块包括参考该长期参考帧编码的宏块，和/或，参考帧内宏块编码的宏块，该非IDR帧图像之后的图像就可以参考该非IDR帧图像进行编码而不参考出现错误的短期参考帧。这样一来，在不参考出现错误的短期参考帧进行编码的同时避免了作为背景帧的长期参考帧被清空导致不可用的问题。
S305、若视频编码设备确定当前帧在解码端不需要显示输出时，则编码指示该当前帧不显示输出；以便解码端接收到视频图像后不显示该当前帧。
例如，若当前帧为输入的待编码的视频图像中的一帧，该当前帧和相邻帧图像连续、连贯，此时该当前帧图像解码以后应该输出，才能保证解码图像的连贯流畅。若当前帧为根据多帧待编码的视频图像合成的虚拟图像，由于该当前帧图像和相邻的图像内容相差较大，如果选择输出，则会导致输出后的图像有明显的闪烁等问题，因此该当前帧解码以后应该不输出。
具体的，当当前帧不需要用于显示输出时，视频编码设备可以在向解码端发送的数据包中，将预定的当前帧不显示输出标志位置位。在现有的H.264协议语法中，视频编码设备可以通过在SEI(Supplemental Enhancement Information，补充增强信息)包内容中约定一个表示码流解码后不用于显示输出的标志，接收端根据此标志确定图像解码后当前帧不显示输出。
视频编码设备还可以通过在协议语法中设置语法元素指示当前帧不显示输出。
视频编码设备还可以通过在信令传输层设置字段指示当前帧不显示输出。例如可以通过RTP(Real-time Transport Protocol，实时传送协议)包中的CSRC(Contributing source，信源标识)字段指示码流是否用于显示输出。
本发明实施例提供的视频编码方法，在参考长期参考帧进行编码的过程中，当接收到解码端发送的刷新帧申请后，若确定长期参考帧仍作为参考帧，则向解码端发送一个参考该长期参考帧编码的图像，和/或向解码端发送一个参考帧内宏块编码的非IDR帧图像。这样一来，由于刷新帧不是IDR帧，因此并不会清空所有的参考图像缓存，作为背景帧的长期参考帧仍然可用。从而避免了编码或解码端出现不可恢复的错误时，作为背景帧的长期参考帧不可用的问题。此外，当确定长期参考当前帧不需要显示输出时，编码指示该长期参考当前帧不显示输出。这样一来，避免了在当前帧与相邻帧图像内容不连贯时，解码端显示输出该当前帧导致的显示后图像闪烁的问题。
本发明又一实施例提供的视频编码方法，针对H.264协议，如图4所示，包括：
S401、视频编码设备输入待编码的视频图像。
S402、视频编码设备对根据视频图像获取到的当前帧进行编码。
S403、当视频编码设备接收到解码端发送的刷新帧申请后，判断是否需要清空长期参考帧。若需要，执行步骤S404；若不需要，执行步骤S405。
S404、视频编码设备指示当前帧编码一个IDR帧图像，清空所有的参考图像缓存。
例如，视频编码设备可以通过将一帧图像中的所有宏块均采用帧内压缩模式进行编码，并置Nal_unit_type为5以编码得到IDR帧，从以IDR帧为刷新帧清空所有的参考图像缓存。
S405、视频编码设备指示当前帧编码一个非IDR帧图像，该非IDR帧图像的宏块包括参考该长期参考帧编码的宏块，和/或，参考帧内宏块编码的宏块。
例如，视频编码设备可以通过将图像中所有的宏块采用帧内压缩模式或参考长期参考帧的帧间预测模式进行编码实现刷新帧，以保证接收端解码的正确性。同时通过将nal_unit_type置为5以外的值以编码非IDR帧，从而使得参考图像缓存中的长期参考帧可以继续作为参考。
S406、视频编码设备判断当前图像是否为长期参考帧。若是，执行步骤S409；若不是，执行步骤S410。
例如，在编码过程中，可以规定编码图像每隔200帧指定一帧或者插入一帧图像作为长期参考帧，视频编码设备可以根据统计到的帧数来判断当前帧是否为长期参考帧。
S407、视频编码设备标记当前图像为长期参考帧。
具体的，视频编码设备可以通过分别置adaptive_ref_pic_marking_mode_flag标志为1，置memory_management_cintrol_operation标志为6，置当前帧的long_term_frame_idx值，以标记当前图像为长期参考帧。
S408、视频编码设备标记短期参考帧为长期参考帧。
具体的，视频编码设备可以通过分别置adaptive_ref_pic_marking_mode_flag标志为1，置memory_management_cintrol_operation标志为3，置某一短期参考帧的long_term_frame_idx值，不标记当前图像为长期参考帧，以标记某一短期参考帧为长期参考帧。
S409、视频编码设备设置该长期参考帧的传输优先级。
S410、视频编码设备判断当前帧是否需要显示输出。当确定当前帧不需要显示输出时，执行步骤S411；当前帧需要用于显示输出时，执行步骤S412。
S411、视频编码设备置位不显示输出标志位。
具体的，在H.264协议中，通过Full-frame freeze SEI和Full-frame freeze release SEI来指定是否全帧凝固和全帧凝固释放。其中，当全帧凝固时，当前图像解码完毕，不用当前图像对显示的视频帧内容进行更新，从而保持显示的视频帧内容不变。从而达到一帧或多帧图像解码后不输出显示的目的。
例如，当只需要长期参考帧在当前的一帧不显示输出时，可以通过发送Full-frame freeze SEI(SEI payloadtype＝13)并将full_frame_freeze_repetition_period置为0实现。
又例如，当需要有多帧图像不显示输出时，在长期参考帧不需要显示输出的起始帧中发送Full-frame freeze SEI(SEI payloadtype＝13)并将full_frame_freeze_repetition_period置为1。在需要解凝固的帧中，发送一个Full-frame freeze release SEI(SEI payloadtype＝14)。从而实现多帧图像不显示输出。
再例如，当需要有多帧图像不显示输出时，在长期参考帧不需要显示输出的起始帧中发送Full-frame freeze SEI(SEI payloadtype＝13)并将full_frame_freeze_repetition_period置为1。在需要解凝固的帧中，发送一个SPS(Sequence parameter set，序列参数集)或PPS(Pictureparameter set，图像参数集)，并编码新的IDR帧以开始一个新的序列，从而自动解凝固。
S412、视频编码设备置位显示输出标志位。
S413、视频编码设备输出已编码的视频图像码流。
本发明实施例提供的视频编码方法，在参考长期参考帧进行编码的过程中，当接收到解码端发送的刷新帧申请后，若确定长期参考帧仍作为参考帧，则向解码端发送一个参考该长期参考帧的图像，和/或向解码端发送一个参考帧内宏块编码的非IDR帧图像。这样一来，由于刷新帧不是IDR帧，因此并不会清空已有的长期参考帧，避免了编码或解码端出现不可恢复的错误时，作为背景帧的长期参考帧不可用的问题。此外，当确定当前帧不需要显示输出时，编码指示该当前帧不显示输出。这样一来，避免了在当前帧与相邻帧图像内容不连贯时，解码端显示输出该当前帧导致的显示后图像闪烁的问题。
本发明实施例提供的视频编码设备50对应上述方法实施例，可以用于上述方法实施例中的所有步骤，该视频编码设备50的详细步骤在上述方法实施例中已经说明，在此不再详细描述。如图5所示，包括：
输入单元501，用于输入待编码的视频图像。
编码单元502，用于对根据视频图像获取到的当前帧进行编码，指定该当前帧为长期参考帧；参考该长期参考帧，对视频图像的各帧进行编码，将编码后得到的数据包向解码端发送。
接收单元503，用于接收解码端发送的刷新帧申请。
刷新帧发送单元504，用于接收到解码端发送的刷新帧申请后，若确定该长期参考帧仍作为编码的参考帧，则向解码端发送一个非IDR帧图像，该非IDR帧图像的宏块包括参考该长期参考帧编码的宏块，和/或，参考帧内宏块编码的宏块。
本发明实施例提供的视频编码设备，在参考长期参考帧进行编码的过程中，当接收到解码端发送的刷新帧申请后，若确定长期参考帧仍作为参考帧，则向解码端发送一个参考该长期参考帧编码的图像，和/或向解码端发送一个参考帧内宏块编码的非IDR帧图像。这样一来，由于刷新帧不是IDR帧，因此并不会清空所有的参考图像缓存，作为背景帧的长期参考帧仍然可用。从而避免了编码或解码端出现不可恢复的错误时，作为背景帧的长期参考帧不可用的问题。
进一步地，如图6所示，视频编码设备50还可以包括：
指示单元505，用于若确定当前帧在解码端不需要显示输出时，则编码指示该当前帧不显示输出；以便解码端接收到视频图像后不显示该当前帧。
刷新帧发送单元504还可以用于：
接收到解码端发送的刷新帧申请后，若确定长期参考帧不作为编码的参考帧，则向解码端发送一个IDR帧图像。
本发明实施例提供的视频编码设备70对应上述方法实施例，可以用于上述方法实施例中的所有步骤，该视频编码设备70的详细步骤在上述方法实施例中已经说明，在此不再详细描述。如图7所示，包括：
输入单元701，用于输入待编码的视频图像。
编码单元702，用于对根据视频图像获取到的当前帧进行编码，指定该当前帧为长期参考帧；参考该长期参考帧，对视频图像的各帧进行编码，将编码后得到的数据包向解码端发送。
指示单元703，用于若确定当前帧在解码端不需要显示输出时，则编码指示该当前帧不显示输出；以便解码端接收到视频图像后不显示该当前帧。
本发明实施例提供的视频编码设备，当确定当前帧不需要显示输出时，编码指示该当前帧不显示输出。这样一来，避免了在当前帧与相邻帧图像内容不连贯时，解码端显示输出该当前帧导致的显示后图像闪烁的问题。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种视频编码方法，其特征在于，包括：
输入待编码的视频图像；
对根据所述视频图像获取到的当前帧进行编码，指定所述当前帧为长期参考帧；
参考所述长期参考帧，对所述视频图像的各帧进行编码，将编码后得到的数据包向解码端发送；
接收到所述解码端发送的刷新帧申请后，若确定所述长期参考帧仍作为编码的参考帧，则向所述解码端发送一个非IDR帧图像，所述非IDR帧图像的宏块包括参考所述长期参考帧编码的宏块，和/或，参考帧内宏块编码的宏块。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收到解码端发送的刷新帧申请后，若确定所述长期参考帧不作为编码的参考帧，则向所述解码端发送一个IDR帧图像。
3.根据权利要求1所述的方法，其特征在于，根据所述视频图像获取到的当前帧包括：
从所述视频图像中获取一帧图像作为长期参考帧；
或者，从所述视频图像中，合成至少两帧图像作为长期参考帧；
或者，拍摄所述视频图像中一帧图像的背景图像作为长期参考帧；
或者，拍摄所述视频图像中至少两帧图像的背景图像，合成所述至少两帧图像的背景图像作为长期参考帧。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若确定所述当前帧在解码端不需要显示输出时，则编码指示所述当前帧不显示输出；以便所述解码端接收到所述视频图像后不显示所述当前帧。
5.根据权利要求4所述的方法，其特征在于，编码指示所述当前帧不显示输出包括：
在对所述当前帧进行编码得到的数据包中，将预定的指示所述当前帧不显示输出的标志位置位；
或者，在协议语法中设置语法元素指示所述当前帧不显示输出；
或者，在信令传输层设置字段指示所述当前帧不显示输出。
6.一种视频编码方法，其特征在于，包括：
输入待编码的视频图像；
对根据所述视频图像获取到的当前帧进行编码，指定所述当前帧为长期参考帧；
参考所述长期参考帧，对所述视频图像的各帧进行编码，将编码后得到的数据包向解码端发送；
若确定所述当前帧在解码端不需要显示输出时，则编码指示所述当前帧不显示输出；以便所述解码端接收到所述视频图像后不显示所述当前帧。
7.根据权利要求6所述的方法，其特征在于，编码指示所述当前帧不显示输出包括：
在对所述当前帧进行编码得到的数据包中，将预定的指示所述当前帧不显示输出的标志位置位；
或者，在协议语法中设置语法元素指示所述当前帧不显示输出；
或者，在信令传输层设置字段指示所述当前帧不显示输出。
8.一种视频编码设备，其特征在于，包括：
输入单元，用于输入待编码的视频图像；
编码单元，用于对根据所述视频图像获取到的当前帧进行编码，指定所述当前帧为长期参考帧；参考所述长期参考帧，对所述视频图像的各帧进行编码，将编码后得到的数据包向解码端发送；
接收单元，用于接收所述解码端发送的刷新帧申请；
刷新帧发送单元，用于接收到所述解码端发送的刷新帧申请后，若确定所述长期参考帧仍作为编码的参考帧，则向所述解码端发送一个非IDR帧图像，所述非IDR帧图像的宏块包括参考所述长期参考帧编码的宏块，和/或，参考帧内宏块编码的宏块。
9.根据权利要求8所述的设备，其特征在于，所述刷新帧发送单元还用于：
接收到解码端发送的刷新帧申请后，若确定所述长期参考帧不作为编码的参考帧，则向所述解码端发送一个IDR帧图像。
10.根据权利要求8所述的设备，其特征在于，所述设备还包括：
指示单元，用于若确定所述当前帧在解码端不需要显示输出时，则编码指示所述当前帧不显示输出；以便所述解码端接收到所述视频图像后不显示所述当前帧。
11.一种视频编码设备，其特征在于，包括：
输入单元，用于输入待编码的视频图像；
编码单元，用于对根据所述视频图像获取到的当前帧进行编码，指定所述当前帧为长期参考帧；参考所述长期参考帧，对所述视频图像的各帧进行编码，将编码后得到的数据包向解码端发送；
指示单元，用于若确定所述当前帧在解码端不需要显示输出时，则编码指示所述当前帧不显示输出；以便所述解码端接收到所述视频图像后不显示所述当前帧。
CN201110427151.1A 2011-12-19 2011-12-19 一种视频编码方法及设备 Expired - Fee Related CN103167283B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201110427151.1A CN103167283B (zh) 2011-12-19 2011-12-19 一种视频编码方法及设备
EP12859908.1A EP2775712A4 (en) 2011-12-19 2012-08-22 VIDEO PROCESSING AND DEVICE
PCT/CN2012/080438 WO2013091391A1 (zh) 2011-12-19 2012-08-22 一种视频编码方法及设备
US14/308,791 US20140321545A1 (en) 2011-12-19 2014-06-19 Video Encoding Method and Device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110427151.1A CN103167283B (zh) 2011-12-19 2011-12-19 一种视频编码方法及设备

Publications (2)

Publication Number Publication Date
CN103167283A true CN103167283A (zh) 2013-06-19
CN103167283B CN103167283B (zh) 2016-03-02

Family

ID=48589992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110427151.1A Expired - Fee Related CN103167283B (zh) 2011-12-19 2011-12-19 一种视频编码方法及设备

Country Status (4)

Country Link
US (1) US20140321545A1 (zh)
EP (1) EP2775712A4 (zh)
CN (1) CN103167283B (zh)
WO (1) WO2013091391A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104519364A (zh) * 2014-12-10 2015-04-15 北京中星微电子有限公司 一种视频编码方法及装置
CN104980763A (zh) * 2014-04-05 2015-10-14 浙江大学 一种视频码流、视频编解码方法及装置
CN105872556A (zh) * 2016-04-11 2016-08-17 华为技术有限公司 视频编码方法和装置
WO2016161678A1 (zh) * 2015-04-08 2016-10-13 杭州海康威视数字技术股份有限公司 一种视频编码和解码的方法、装置和处理系统
CN106937168A (zh) * 2015-12-30 2017-07-07 掌赢信息科技（上海）有限公司 一种利用长期参考帧的视频编码方法、电子设备及系统
CN107343205A (zh) * 2016-04-28 2017-11-10 浙江大华技术股份有限公司 一种长期参考码流的编码方法及编码装置
CN108141583A (zh) * 2015-10-07 2018-06-08 高通股份有限公司 使用背景图片执行预测性随机存取的方法和系统
CN108141584A (zh) * 2015-10-07 2018-06-08 高通股份有限公司 使用背景图片对预测性随机存取图片进行译码的方法和系统
CN107343205B (zh) * 2016-04-28 2019-07-16 浙江大华技术股份有限公司 一种长期参考码流的编码方法及编码装置
CN110149491A (zh) * 2018-02-11 2019-08-20 腾讯科技（深圳）有限公司 视频编码方法、视频解码方法、终端及存储介质
CN110636334A (zh) * 2019-08-23 2019-12-31 西安万像电子科技有限公司 数据传输方法及系统
CN110832861A (zh) * 2018-07-03 2020-02-21 深圳市大疆创新科技有限公司 视频处理方法和设备
CN110868599A (zh) * 2019-12-06 2020-03-06 杭州顺网科技股份有限公司 一种远程桌面的视频压缩方法
CN111447451A (zh) * 2020-03-23 2020-07-24 西安万像电子科技有限公司 图像编码、解码方法及装置
WO2021052500A1 (zh) * 2019-09-19 2021-03-25 华为技术有限公司 视频图像的传输方法、发送设备、视频通话方法和设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3319317B1 (en) * 2015-07-30 2021-04-28 Huawei Technologies Co., Ltd. Video encoding and decoding method and device
US10200698B2 (en) * 2016-08-09 2019-02-05 Intel Corporation Determining chroma quantization parameters for video coding
EP3474548A1 (en) * 2017-10-18 2019-04-24 Axis AB Method and encoder for encoding a video stream in a video coding format supporting auxiliary frames
CN107948654A (zh) * 2017-11-21 2018-04-20 广州市百果园信息技术有限公司 视频发送、接收方法和装置及终端
EP3713235B1 (en) * 2019-03-19 2023-08-02 Axis AB Methods and devices for encoding a video stream using a first and a second encoder
CN111866585B (zh) * 2020-06-22 2023-03-24 北京美摄网络科技有限公司 一种视频处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090097555A1 (en) * 2005-01-07 2009-04-16 France Telecom Video encoding method and device
CN101547369A (zh) * 2008-03-26 2009-09-30 盛大计算机（上海）有限公司 去除网络视频播放马赛克现象的容错方法
CN101690202A (zh) * 2007-04-09 2010-03-31 思科技术公司 用于压缩视频通信的带差错反馈的长期参考帧管理

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5155594A (en) * 1990-05-11 1992-10-13 Picturetel Corporation Hierarchical encoding method and apparatus employing background references for efficiently communicating image sequences
JP4020883B2 (ja) * 2004-04-20 2007-12-12 株式会社東芝 動画像復号装置
US7692682B2 (en) * 2005-04-28 2010-04-06 Apple Inc. Video encoding in a video conference
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
US8629893B2 (en) * 2008-04-02 2014-01-14 Cisco Technology, Inc. Video switching without instantaneous decoder refresh-frames
JP5594002B2 (ja) * 2010-04-06 2014-09-24 ソニー株式会社 画像データ送信装置、画像データ送信方法および画像データ受信装置
US8503528B2 (en) * 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090097555A1 (en) * 2005-01-07 2009-04-16 France Telecom Video encoding method and device
CN101690202A (zh) * 2007-04-09 2010-03-31 思科技术公司 用于压缩视频通信的带差错反馈的长期参考帧管理
CN101547369A (zh) * 2008-03-26 2009-09-30 盛大计算机（上海）有限公司 去除网络视频播放马赛克现象的容错方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104980763A (zh) * 2014-04-05 2015-10-14 浙江大学 一种视频码流、视频编解码方法及装置
CN104980763B (zh) * 2014-04-05 2020-01-17 浙江大学 一种视频码流、视频编解码方法及装置
CN104519364A (zh) * 2014-12-10 2015-04-15 北京中星微电子有限公司 一种视频编码方法及装置
WO2016161678A1 (zh) * 2015-04-08 2016-10-13 杭州海康威视数字技术股份有限公司 一种视频编码和解码的方法、装置和处理系统
CN108141583A (zh) * 2015-10-07 2018-06-08 高通股份有限公司 使用背景图片执行预测性随机存取的方法和系统
CN108141584A (zh) * 2015-10-07 2018-06-08 高通股份有限公司 使用背景图片对预测性随机存取图片进行译码的方法和系统
CN106937168A (zh) * 2015-12-30 2017-07-07 掌赢信息科技（上海）有限公司 一种利用长期参考帧的视频编码方法、电子设备及系统
CN105872556B (zh) * 2016-04-11 2020-01-03 华为技术有限公司 视频编码方法和装置
CN105872556A (zh) * 2016-04-11 2016-08-17 华为技术有限公司 视频编码方法和装置
CN107343205A (zh) * 2016-04-28 2017-11-10 浙江大华技术股份有限公司 一种长期参考码流的编码方法及编码装置
CN107343205B (zh) * 2016-04-28 2019-07-16 浙江大华技术股份有限公司 一种长期参考码流的编码方法及编码装置
CN110149491B (zh) * 2018-02-11 2021-09-28 腾讯科技（深圳）有限公司 视频编码方法、视频解码方法、终端及存储介质
CN110149491A (zh) * 2018-02-11 2019-08-20 腾讯科技（深圳）有限公司 视频编码方法、视频解码方法、终端及存储介质
CN110832861A (zh) * 2018-07-03 2020-02-21 深圳市大疆创新科技有限公司 视频处理方法和设备
CN110636334A (zh) * 2019-08-23 2019-12-31 西安万像电子科技有限公司 数据传输方法及系统
CN110636334B (zh) * 2019-08-23 2022-12-09 西安万像电子科技有限公司 数据传输方法及系统
WO2021052500A1 (zh) * 2019-09-19 2021-03-25 华为技术有限公司 视频图像的传输方法、发送设备、视频通话方法和设备
CN110868599A (zh) * 2019-12-06 2020-03-06 杭州顺网科技股份有限公司 一种远程桌面的视频压缩方法
CN110868599B (zh) * 2019-12-06 2021-11-19 杭州顺网科技股份有限公司 一种远程桌面的视频压缩方法
CN111447451A (zh) * 2020-03-23 2020-07-24 西安万像电子科技有限公司 图像编码、解码方法及装置

Also Published As

Publication number Publication date
WO2013091391A1 (zh) 2013-06-27
EP2775712A4 (en) 2015-09-30
US20140321545A1 (en) 2014-10-30
EP2775712A1 (en) 2014-09-10
CN103167283B (zh) 2016-03-02

Similar Documents

Publication Publication Date Title
CN103167283A (zh) 一种视频编码方法及设备
CN102780883B (zh) 用于包含多视点视频编码的参考图像管理的方法
CN100591128C (zh) 视频编码、译码和假想参考译码器
CN101606389B (zh) 用于视频流拼接的方法及装置
JP4516016B2 (ja) 予測基準値用並びに表示用ピクチャのバッファ処理
CA2886688C (en) Decoding and encoding of pictures of a video sequence
CN101523914B (zh) 用于对多视图图像进行编码和解码的方法和设备
CN101511010A (zh) 一种媒体流发送方法及装置
CN103918268A (zh) 用于解码图片缓冲器和参考图片列表的状态信息的信号通知
CA2903898C (en) Decoding and display delay error correction in a spliced video when pictures have been discarded
CN107105277B (zh) 视频解码方法
CN101485208A (zh) 多视图视频的编码和解码方法及装置
CN101185333A (zh) 编码视频信号时发送画面信息的方法以及解码视频信号时使用该画面信息的方法
CN101529913A (zh) 用于多视角视频编码的图像标识
CN105657448B (zh) 一种编码视频流的转发方法、装置及系统
CN101453656B (zh) 视频编码、解码方法及装置和视频编解码系统
CN104185992A (zh) 用于使用假设参考解码器的超低延迟模式的方法和装置
CN101578873B (zh) 一种解码多视图视频内容的装置和方法
MX2008000117A (es) Sistema de conferencia de multipunto, metodo de conferencia de multipunto, y programa.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20170726

Address after: 510640 Guangdong City, Tianhe District Province, No. five, road, public education building, unit 371-1, unit 2401

Patentee after: Guangdong Gaohang Intellectual Property Operation Co., Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: Huawei Technologies Co., Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20171123

Address after: 350700 building, two Financial Bureau, Yongtai County, Fujian, Fuzhou

Patentee after: Yongtai County State owned asset management company

Address before: 510640 Guangdong City, Tianhe District Province, No. five, road, public education building, unit 371-1, unit 2401

Patentee before: Guangdong Gaohang Intellectual Property Operation Co., Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160302

Termination date: 20201219