CN106488227B - 一种视频参考帧管理方法和系统 - Google Patents

一种视频参考帧管理方法和系统 Download PDF

Info

Publication number
CN106488227B
CN106488227B CN201610891036.2A CN201610891036A CN106488227B CN 106488227 B CN106488227 B CN 106488227B CN 201610891036 A CN201610891036 A CN 201610891036A CN 106488227 B CN106488227 B CN 106488227B
Authority
CN
China
Prior art keywords
reference frame
frame
value
image list
present
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610891036.2A
Other languages
English (en)
Other versions
CN106488227A (zh
Inventor
胡建华
夏昌盛
昝劲文
周文博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGDONG ZHONGXING ELECTRONICS Co Ltd
Original Assignee
GUANGDONG ZHONGXING ELECTRONICS Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGDONG ZHONGXING ELECTRONICS Co Ltd filed Critical GUANGDONG ZHONGXING ELECTRONICS Co Ltd
Priority to CN201610891036.2A priority Critical patent/CN106488227B/zh
Publication of CN106488227A publication Critical patent/CN106488227A/zh
Application granted granted Critical
Publication of CN106488227B publication Critical patent/CN106488227B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供了一种视频参考帧管理方法和系统，所述方法包括：参考帧图像列表的初始化，通过基础参数使参考帧得到初步排序；参考帧图像列表的重排序，通过基础参数结合附加参数使参考帧得到重新排序。本发明实施例提供的视频参考帧管理方法和系统，解决了现有视频编码技术中仅仅根据参考帧与当前帧的poc差值来进行参考帧的排序，导致编码效率低下的问题。本发明实施例通过将参考帧的QP值和参考帧与当前帧的poc差值作权重计算，获得重排序序号并进行重排序，在参考帧的重排序过程中充分考虑到参考帧的图像质量问题，提高了编码效率。

Description

一种视频参考帧管理方法和系统
技术领域
本发明涉及视频技术领域，具体涉及一种视频参考帧管理方法和系统。
背景技术
编码图像分成三种类型：I帧、P帧和B帧。用来对编码图像进行预测的图像称为参考帧。其中，I帧是内部编码帧，不需要参考其他帧，利用视频图像的空间相关性进行独立压缩编码。P帧是前向预测帧，以I帧为参考帧，在I帧中找出P帧“某点”的预测值和运动矢量，取预测差值和运动矢量一起传送。B帧是双向内插帧，以前面的I或P帧和后面的P帧为参考帧，“找出”B帧“某点”的预测值和两个运动矢量，并取预测差值和运动矢量传送，接收端根据运动矢量在两个参考帧中“找出(算出)”预测值并与差值求和，得到B帧“某点”样值，从而得到完整的B帧。简单地讲，I帧是一个完整的画面，而P帧和B帧记录的是相对于I帧的变化。三种类型的编码图像在编码过程中的参考关系可以利用图1来表示，图1中的箭头表示参考关系，由参考帧指向编码帧。
poc表示画面顺序计数，指示图像的显示顺序；DPB表示保存所有的重建图像队列。
量化参数QP和量化步长Qstep的关系：
量化步长Qstep共有52个值(对于亮度编码而言)，量化参数QP是量化步长Qstep的序号，取值0～51。
其中，QP取最小值0时，表示量化最精细；相反，QP取最大值51时，表示量化最粗糙；Qstep随着QP的增加而增加，QP每增加6，Qstep增加一倍。
对于色度编码，QP的最大值是39。
ListX[i](i＝0,1)表示参考帧图像列表，其包含的参考帧指向DPB中的重建图像。ListX[0]是前向参考帧图像列表，P、B帧都会用到；ListX[1]是后向参考帧图像列表，只有B帧会用到。
多参考帧的引入能够提高编码效率，现有的H.264、H.265和AVS2视频编码压缩标准均支持多参考帧编码。但是现有编码方法中采用的参考帧排序方法只考虑到当前帧与参考帧的相邻位置关系，如果参考帧与当前帧越近(poc差值小)，那么分配的参考索引序号(ref_idx)越小。
例如：假设当前帧图像序列号poc为10，那么当前帧的参考帧为0、6、7、8、9帧，排序如下所示：
前向参考队列Ref_idx＝4 3 2 1 0对应的参考帧为0、6、7、8、9。
现有的参考帧图像列表的排序技术是根据图像的poc差值来进行排序，不考虑各个图像之间的质量差别，以及一些场景图像的变化情况，导致编码效率不高。
发明内容
有鉴于此，本发明实施例提供了一种视频参考帧管理方法和系统，解决了现有视频编码技术中编码效率低下的问题。
本发明实施例提供的一种视频参考帧管理方法包括：
参考帧图像列表的初始化，通过基础参数使参考帧得到初步排序；
参考帧图像列表的重排序，通过基础参数结合附加参数使参考帧得到重新排序。
本发明实施例提供的一种视频参考帧管理系统包括：
初始化装置101，用于参考帧图像列表的初始化，通过基础参数使参考帧得到初步排序；
重排序装置102，用于参考帧图像列表的重排序，通过基础参数结合附加参数使参考帧得到重新排序。
本发明实施例提供的视频参考帧管理方法和系统，通过将参考帧的QP值和参考帧与当前帧的poc差值作权重计算，获得重排序序号并进行重排序，在参考帧的重排序过程中充分考虑到参考帧的图像质量问题，提高了编码效率。
附图说明
图1为I帧、P帧和B帧编码图像在编码过程中的参考关系示意图。
图2所示为本发明实施例提供的一种视频参考帧管理方法的流程示意图。
图3所示为本发明实施例提供的一种视频参考帧管理系统的装置示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图2所示为本发明实施例提供的一种视频参考帧管理方法的流程示意图。如图2所示，以亮度编码为例，本发明第一实施例中视频参考帧管理方法步骤如下：
步骤01，参考帧图像列表的初始化，通过基础参数使参考帧得到初步排序。
步骤01中，基础参数指参考帧与当前帧的poc差值。
步骤02，参考帧图像列表的重排序，通过基础参数结合附加参数使参考帧得到重新排序。
步骤02中，附加参数指各参考帧的QP值。
其中，步骤01还包括步骤03：
步骤03，将DPB中符合要求的参考帧按照与当前帧的poc差值进行初步排序，并存入参考帧图像列表。
在步骤03的参考帧图像列表中，短期参考按降序排列，长期参考按升序排列。
其中，步骤02还包括步骤04：
步骤04，计算各参考帧的QP值，将各参考帧的QP值和当前帧与参考帧的poc差值作权重，得出权重值，根据得出的权重值标记各参考帧并进行重排序。
在步骤04中，亮度编码的QP值为0～51，取QP值权重占40％，参考帧poc差值权重占60％进行计算，通过计算得出的权重值对参考帧进行重排序。具体地为，根据得出的各参考帧权重值来确定该参考帧是否继续作为参考帧，按照实际情况进行标记，标记为不作参考，还可以标记为短期参考和/或长期参考；并对继续作为参考帧的各帧重新分配参考索引序号。
举例说明，假设当前帧图像序列号poc为10，那么当前帧的参考帧为0、6、7、8、9帧，QP值依次为5、30、35、40、45，其中0帧图像质量好(QP值较小)，则经过权重计算后得出的权重值依次为8、14.4、15.8、17.2、18.6，那么本发明参考帧重排序如下所示：
前向参考队列Ref_idx＝4 3 2 1 0对应的参考帧为9、8、7、6、0。
又比如，假设当前帧图像序列号poc为10，那么当前帧的参考帧为0、6、7、8、9帧，其中QP值依次为10、20、30、40、50，则经过权重计算后得出的权重值依次为10、10.4、13.8、17.2、20.6，因此，重排序顺序如下所示：
前向参考队列Ref_idx＝4 3 2 1 0对应的参考帧为9、8、7、6、0。
本发明第一实施例给出的视频参考帧管理方法，在编码时设置图像质量较好的帧(QP值较小)，用来保存更多图像信息，使当前帧获得更好的参考图像信息，然后根据参考帧的图像质量和与当前帧的距离(poc差值)作权重，根据得出的权重值来决定分配给各参考帧的参考索引序号。本发明第一实施例中的视频参考帧管理方法，充分考虑了各帧图像之间的质量差别以及当前帧与参考帧之间场景图像的变化情况，提高了编码效率。
图2所示为本发明实施例提供的一种视频参考帧管理方法的流程示意图。如图2所示，以色度编码为例，本发明第二实施例中视频参考帧管理方法步骤如下：
步骤01，参考帧图像列表的初始化，通过基础参数使参考帧得到初步排序。
步骤02，参考帧图像列表的重排序，通过基础参数结合附加参数使参考帧得到重新排序。
其中，步骤01还包括步骤03：
步骤03，将DPB中符合要求的参考帧按照与当前帧的poc差值进行初步排序，并存入参考帧图像列表。
在步骤03的参考帧图像列表中，短期参考按降序排列，长期参考按升序排列。
其中，步骤02还包括步骤04：
步骤04，计算各参考帧的QP值，将各参考帧的QP值和当前帧与参考帧的poc差值作权重，得出权重值，根据得出的权重值标记各参考帧并进行重排序。
在步骤04中，色度编码的QP值为0～39，取QP值权重占50％，参考帧poc差值权重占50％进行计算，通过计算得出的权重值对参考帧进行重排序。具体地为，根据得出的各参考帧权重值来确定该参考帧是否继续作为参考帧，按照实际情况进行标记，标记为不作参考，还可以标记为短期参考和/或长期参考；并对继续作为参考帧的各帧重新分配参考索引序号。
举例说明，假设当前帧图像序列号poc为10，那么当前帧的参考帧为0、6、7、8、9帧，QP值依次为5、15、25、35、38，其中0帧图像质量好(QP值较小)，则经过权重计算后得出的权重值依次为7.5、9.5、14、18.5、19.5，那么本发明参考帧重排序如下所示：
前向参考队列Ref_idx＝4 3 2 1 0对应的参考帧为9、8、7、6、0。
又比如，假设当前帧图像序列号poc为10，那么当前帧的参考帧为0、6、7、8、9帧，其中QP值依次为5、10、15、30、20，则经过权重计算后得出的权重值依次为7.5、7、9、16、10.5，因此，重排序顺序如下所示：
前向参考队列Ref_idx＝4 3 2 1 0对应的参考帧为8、9、7、0、6。
本发明第二实施例给出的视频参考帧管理方法，利用色度编码的QP值与参考帧与当前帧的poc差值来进行权重计算，得出权重值。根据得出的权重值对参考帧图像列表进行重排序。本发明第二实施例中的视频参考帧管理方法，充分考虑了各帧图像之间的质量差别以及当前帧与参考帧之间场景图像的变化情况，提高了编码效率。
实际应用过程中，本发明实施例中计算权重时的参数形式和具体参数值可根据实际需求进行设置，不限于本发明实施例中给出的权重设置方法。
应当注意，在进行图像编码时，为了获得质量相对较好的帧，可以人为设置较小QP值的图像，从而得到图像质量较好的参考帧。
图3所示为本发明实施例提供的一种视频参考帧管理系统的装置示意图。如图3所示，本发明第一实施例提供的视频参考帧管理系统包括：
初始化装置101，用于参考帧图像列表的初始化，通过基础参数使参考帧得到初步排序。
重排序装置102，用于参考帧图像列表的重排序，通过基础参数结合附加参数使参考帧得到重新排序。
初始化装置101中包括：
初步排序装置103，用于将DPB中符合要求的参考帧按照与当前帧的poc差值进行初步排序，并存入参考帧图像列表。
重排序装置102中包括：
计算权重并排序装置104，用于计算各参考帧的QP值，将各参考帧的QP值和当前帧与参考帧的poc差值作权重，得出权重值，根据得出的权重值标记各参考帧并进行重排序。
图3所示为本发明实施例提供的一种视频参考帧管理系统的装置示意图。如图3所示，本发明第二实施例提供的视频参考帧管理系统包括：
初始化装置101，用于参考帧图像列表的初始化，通过基础参数使参考帧得到初步排序。
重排序装置102，用于参考帧图像列表的重排序，通过基础参数结合附加参数使参考帧得到重新排序。
初始化装置101中包括：
初步排序装置103，用于将DPB中符合要求的参考帧按照与当前帧的poc差值进行初步排序，并存入参考帧图像列表。
重排序装置102中包括：
计算权重并排序装置104，用于计算各参考帧的QP值，将各参考帧的QP值和当前帧与参考帧的poc差值作权重，得出权重值，根据得出的权重值标记各参考帧并进行重排序。
应当理解，尽管在上文的详细描述中提及了装置的若干模块或单元，但是这种划分仅仅是示例性而非强制性的。实际上，根据本发明的示例性实施方式，上文描述的两个或更多模块/单元的特征和功能可以在一个模块/单元中实现，反之，上文描述的一个模块/单元的特征和功能可以进一步划分为由多个模块/单元来实现。此外，上文描述的某些模块/单元在某些应用场景下可被省略。
还应当理解，为了不模糊本发明的实施方式，说明书仅对一些关键、未必必要的技术和特征进行了描述，而可能未对一些本领域技术人员能够实现的特征做出说明。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种视频参考帧管理方法，其特征在于，包括：
参考帧图像列表初始化，通过基础参数使参考帧得到初步排序；
参考帧图像列表重排序，通过基础参数结合附加参数使参考帧得到重新排序；
其中，所述参考帧图像列表重排序包括：
计算各参考帧的QP值，将各参考帧的QP值和当前帧与参考帧的poc差值作权重，得出权重值，根据得出的权重值标记各参考帧并进行重排序，其中，所述权重值根据给各参考帧的QP值和当前帧与参考帧的poc差值分配百分数比重后求和计算得出。
2.根据权利要求1所述的方法，其特征在于，所述参考帧图像列表的初始化包括将DPB中符合要求的参考帧按照与当前帧的poc差值进行初步排序，并存入参考帧图像列表。
3.根据权利要求1所述的方法，其特征在于，所述各参考帧的QP值，亮度编码的QP值范围为0～51，色度编码的QP值范围为0～39。
4.根据权利要求1所述的方法，其特征在于，所述标记各参考帧包括标记为不作参考或短期参考和长期参考中的至少一种。
5.一种视频参考帧管理系统，包括：
初始化装置(101)，用于参考帧图像列表的初始化，通过基础参数使参考帧得到初步排序；
重排序装置(102)，用于参考帧图像列表的重排序，通过基础参数结合附加参数使参考帧得到重新排序；
其中，所述重排序装置(102)包括计算权重并排序装置(104)，所述计算权重并排序装置(104)用于计算各参考帧的QP值，将各参考帧的QP值和当前帧与参考帧的poc差值作权重，得出权重值，根据得出的权重值标记各参考帧并进行重排序，其中，所述权重值根据给各参考帧的QP值和当前帧与参考帧的poc差值分配百分数比重后求和计算得出。
6.根据权利要求5所述的系统，其特征在于，所述初始化装置(101)包括：
初步排序装置(103)，用于将DPB中符合要求的参考帧按照与当前帧的poc差值进行初步排序，并存入参考帧图像列表。
CN201610891036.2A 2016-10-12 2016-10-12 一种视频参考帧管理方法和系统 Active CN106488227B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610891036.2A CN106488227B (zh) 2016-10-12 2016-10-12 一种视频参考帧管理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610891036.2A CN106488227B (zh) 2016-10-12 2016-10-12 一种视频参考帧管理方法和系统

Publications (2)

Publication Number Publication Date
CN106488227A CN106488227A (zh) 2017-03-08
CN106488227B true CN106488227B (zh) 2019-03-15

Family

ID=58270727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610891036.2A Active CN106488227B (zh) 2016-10-12 2016-10-12 一种视频参考帧管理方法和系统

Country Status (1)

Country Link
CN (1) CN106488227B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109660825B (zh) 2017-10-10 2021-02-09 腾讯科技（深圳）有限公司 视频转码方法、装置、计算机设备及存储介质
CN110807680B (zh) * 2018-08-06 2023-05-02 阿里巴巴集团控股有限公司 数据对象信息处理方法、装置及电子设备
CN111372085B (zh) * 2018-12-25 2021-07-09 厦门星宸科技有限公司 影像解码装置与方法
CN112004083B (zh) * 2019-05-27 2022-04-01 北京君正集成电路股份有限公司 一种利用帧间预测特性优化码率控制方法及系统
CN111885337B (zh) * 2020-06-19 2022-03-29 成都东方盛行电子有限责任公司 一种多帧率视频高效编辑方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101534442A (zh) * 2009-04-13 2009-09-16 腾讯科技（深圳）有限公司 视频编码系统及方法
CN102387361A (zh) * 2010-09-02 2012-03-21 乐金电子(中国)研究开发中心有限公司 视频编解码的参考帧处理方法及视频编解码器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2488816A (en) * 2011-03-09 2012-09-12 Canon Kk Mapping motion vectors from a plurality of reference frames to a single reference frame
ES2489816B2 (es) * 2011-04-26 2015-10-08 Lg Electronics Inc. Método para gestionar una lista de imágenes de referencia, y aparato que lo usa

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101534442A (zh) * 2009-04-13 2009-09-16 腾讯科技（深圳）有限公司 视频编码系统及方法
CN102387361A (zh) * 2010-09-02 2012-03-21 乐金电子(中国)研究开发中心有限公司 视频编解码的参考帧处理方法及视频编解码器

Also Published As

Publication number Publication date
CN106488227A (zh) 2017-03-08

Similar Documents

Publication Publication Date Title
CN106488227B (zh) 一种视频参考帧管理方法和系统
CN103262541B (zh) 使用四叉树来编码/解码块信息的方法、和使用该方法的装置
CN103281539B (zh) 一种图像编、解码处理的方法、装置及终端
CN101185337B (zh) 具有预见的准恒定质量速率控制
CN105230023B (zh) 色彩空间、色彩采样率和/或比特深度的自适应切换
CN102742275B (zh) 自适应偏移处理方法与装置及解码方法与装置
CN103179405B (zh) 一种基于多级感兴趣区域的多视点视频编码方法
CA2490378A1 (en) Improved interpolation of video compression frames
TW201218776A (en) Method and apparatus for performing localized multihypothesis prediction during video coding of a coding unit
EP1667459A1 (en) Two processor architecture supporting decoupling of outer loop and inner loop in video decoder
CN103002288B (zh) 一种视频图像的编解码方法及装置
CN106454349B (zh) 一种基于h.265视频编码的运动估计块匹配方法
CN101711480A (zh) 用于多视点视频编码中的亮度补偿的方法和设备
TW466876B (en) Process and device for coding images according to the MPEG standard for the insetting of imagettes
CN102938840A (zh) 应用于多视点视频编码系统的关键帧量化参数选择方法
CN105227955B (zh) 超高清低延时视频码率控制方法
CN105765978B (zh) 用于编码/解码图像的方法和使用其的装置
CN101404765B (zh) 一种交互式多视点视频编码方法
CN104105006A (zh) 一种视频图像处理方法和系统
CN104104964A (zh) 一种深度图像帧间编码、解码方法、编码器及解码器
CN102740071A (zh) 可分级视频编解码器的编码设备及其方法
CN104796690A (zh) 一种基于人脑记忆模型的无参考视频质量评价方法
CN101742293B (zh) 一种基于视频运动特征的图像自适应帧场编码方法
CN102984541A (zh) 一种基于像素域失真度估计的视频质量评价方法
CN104702959B (zh) 一种视频编码的帧内预测方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant