CN106331700B - 参考图像编码和解码的方法、编码设备和解码设备 - Google Patents

参考图像编码和解码的方法、编码设备和解码设备 Download PDF

Info

Publication number
CN106331700B
CN106331700B CN201510392066.4A CN201510392066A CN106331700B CN 106331700 B CN106331700 B CN 106331700B CN 201510392066 A CN201510392066 A CN 201510392066A CN 106331700 B CN106331700 B CN 106331700B
Authority
CN
China
Prior art keywords
reference picture
regional area
corresponding region
relevant range
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510392066.4A
Other languages
English (en)
Other versions
CN106331700A (zh
Inventor
吴枫
陈方栋
李厚强
吕卓逸
杨海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Huawei Technologies Co Ltd
Original Assignee
University of Science and Technology of China USTC
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC, Huawei Technologies Co Ltd filed Critical University of Science and Technology of China USTC
Priority to CN201510392066.4A priority Critical patent/CN106331700B/zh
Priority to PCT/CN2016/088144 priority patent/WO2017005141A1/zh
Priority to EP16820792.6A priority patent/EP3306932A4/en
Priority to KR1020187001858A priority patent/KR102094222B1/ko
Publication of CN106331700A publication Critical patent/CN106331700A/zh
Priority to US15/861,218 priority patent/US10979722B2/en
Application granted granted Critical
Publication of CN106331700B publication Critical patent/CN106331700B/zh
Priority to US17/217,808 priority patent/US11968376B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/55Motion estimation with spatial constraints, e.g. at image or region borders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种参考图像编码的方法包括:编码待编码序列,获得第一参考图像的重构图像以及第二参考图像的重构图像;确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域;确定所述第一参考图像中对应区域或者相关区域是否已更新;当所述第一参考图像中对应区域或者相关区域未更新,且确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域时,用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值;将用来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流。

Description

参考图像编码和解码的方法、编码设备和解码设备
技术领域
本发明涉及视频图像处理领域,尤其涉及参考图像编码和解码的方法、编码设备和解码设备。
背景技术
随着互联网科技的迅猛发展以及人们物质精神文化的日益丰富,在互联网中针对视频的应用需求尤其是针对高清视频的应用需求越来越多,而高清视频的数据量非常大,要想高清视频能在带宽有限的互联网中传输,必须首先解决的问题就是高清视频压缩编码问题。目前,国际上有两个国际组织专门进行视频编码标准的制定工作,即国际标准化组织(International Organization for Standardization,简称为“ISO”)/国际电工委员会(International Electrotechnical Commission,简称为“IEC”)下的运动图像专家组(Motion Picture Experts Group,简称为“MPEG”)和国际电信联盟电信标准化组(International Telecommunication Union-Telecommunication standardizationsector,简称为“ITU-T”)的视频编码专家组(Video Coding Experts Group,简称为“VCEG”)。成立于1986年的MPEG专门负责制定多媒体领域内的相关标准,主要应用于存储、广播电视、因特网或无线网上的流媒体等。ITU-T 则主要制定面向实时视频通信领域的视频编码标准,如视频电话、视频会议等应用。
在过去的几十年里,国际上已经成功制定了面向各种应用的视频编码标准,主要包括:用于影音光碟(Video Compact Disc,简称为“VCD”)的 MPEG-1标准,用于数字多功能光盘(Digital Video Disc,简称为“DVD”) 和数字视频广播(Digital VideoBroadcasting,简称为“DVB”)的MPEG-2 标准,用于视频会议的H.261标准以及H.263标准、H.264标准,允许对任意形状的对象编码的MPEG-4标准,以及最新的高性能视频编码(HighEfficiency Video Coding,简称为“HEVC”)标准。
由于视频序列相邻图像之间存在很大的时间相关性,可将图像序列的每帧图像分成若干互不重叠的编码块,并认为编码块内所有像素点的运动都相同,以编码块为单位分配运动矢量。在对当前编码图像中的当前编码块进行帧间预测时,将已重建的编码图像作为参考图像,对当前编码块在参考图像中一定搜索区域内进行运动搜索,找到与当前编码块满足匹配准则的块,即为匹配块。当前编码块与参考图像中匹配块之间空间位置相对偏移量即为运动矢量(Motion Vector,MV),得到运动矢量的过程被称为运动估计(MotionEstimation,ME)。对视频进行压缩编码时,将参考图像信息、运动矢量信息和匹配块重建像素值与当前块原始像素值之间的差异(残差值)进行编码后发送到解码端。解码端从已解码的参考图像中找到运动矢量所指向位置的块,和残差值相加后恢复出当前块。利用运动估计可去除视频序列的帧间冗余,使视频传输的比特数大为减少。
景物之间相互遮挡、新内容的进入、场景变化以及相机移动等问题可能导致当前块在其邻近图像中无法找到匹配块,因此引入了多参考图像码技术,对编码性能的提升有很大影响。当前编码图像中的当前编码块可以在当前图像之前已编码的k个参考图像中分别进行运动搜索找到匹配块。
在国际最新制定的视频编码标准HEVC标准中,有两种类型的参考图像:短期参考图像和长期参考图像。短期参考图像一般是指距离当前图像相对较近的已重建的编码图像,短期参考图像中存在与当前图像中相似的景物;长期参考图像一般是指距离当前图像相对较远的已重建的编码图像。使用参考图像列表管理参考图像,当前编码块在寻找其匹配块时,从参考图像列表中的第一个参考图像开始,在一定搜索区域内找到匹配误差最小的运动矢量,再继续在下一个参考图像中进行运动搜索,直到完成使用参考图像列表中所有参考图像进行运动搜索之后,确定其最佳的运动矢量及所使用的参考图像。
现有技术中,除了短期参考图像和长期参考图像之外,为了提高压缩编码效率,还引入了背景参考图像,即将视频序列分为若干视频段,在编码完每个视频段后用该视频段内的重建图像生成一幅背景图像,作为该视频段的下一个视频段内各图像的帧间预测时的参考帧。由于背景参考图像与邻近的视频帧内容具有极大的相关性,所以提高了帧间预测的效率,进而提高了视频序列的编码压缩效率。
但是相关技术,要么需要在编解码端同时分析每个视频段内已编/解码图像的共同特征得到参考图像,增加了解码端的复杂度和功耗,要么需要把编码端生成的参考图像额外传递给解码端,造成码流中码率的陡增,造成传输的时延。
发明内容
本发明提供了一种参考图像编码和解码的方法、编码设备和解码设备,可以通过利用后续参考图像的局部信息对背景参考图像进行更新,在提高编码压缩效率的同时,不增加解码端的运算复杂度,并且仅传输少量指示信息或者不传输指示信息,避免了传输时延。
第一方面,提供了一种参考图像解码的方法,包括:解析码流,获得第一参考图像的重构图像以及第二参考图像的重构图像,该第一参考图像先于该第二参考图像被解码;在该解析码流获得第二参考图像的重构图像之前,或者该解析码流获得第二参考图像的重构图像之中,或者该解析码流获得第二参考图像的重构图像之后;解析码流,获得参考图像更新信息,并根据该参考图像更新信息确定该第二参考图像中的局部区域是否用于更新该第一参考图像中对应区域或者相关区域,该局部区域的尺寸小于或者等于该第二参考图像的尺寸;当该参考图像更新信息确定该第二参考图像中的局部区域用于更新该第一参考图像中对应区域或者相关区域时,用该第二参考图像中局部区域的像素值替换该第一参考图像中对应区域或者相关区域的像素值。
结合第一方面,在第一方面的第一种可能的实现方式中,该解析码流,获得参考图像更新信息,并根据该参考图像更新信息确定该第二参考图像中的局部区域是否用于更新该第一参考图像中对应区域或者相关区域包括:解析该码流,获取标记,若该标记为第一取值时,确定该第二参考图像中的局部区域用于更新该第一参考图像中对应区域或者相关区域,若该标志为第二取值时,确定该第二参考图像中的局部区域不用于更新该第一参考图像中对应区域或者相关区域,第一取值不同于第二取值。
结合第一方面,在第一方面的第二种可能的实现方式中,该解析码流,获得参考图像更新信息,并根据该参考图像更新信息确定该第二参考图像中的局部区域是否用于更新该第一参考图像中对应区域或者相关区域包括:解析该码流,获取编码信息,根据该编码信息以及预设规则来确定该第二参考图像中的局部区域是否用于更新该第一参考图像中对应区域或者相关区域。
结合第一方面的第二种可能的实现方式,在第一方面的第三种可能的实现方式中,该方法还包括:确定该编码信息;
其中,该编码信息包括该第二参考图像中的局部区域的量化参数偏移值;对应,该根据该编码信息以及预设规则来确定该第二参考图像中的局部区域是否用于更新该第一参考图像中对应区域或者相关区域包括:当该量化参数偏移值的绝对值在第一取值范围内时,确定该第二参考图像中的局部区域用于更新该第一参考图像中对应区域或者相关区域;当该量化参数偏移值的绝对值不在第一取值范围内时,确定该第二参考图像中的局部区域不用于更新该第一参考图像中对应区域或者相关区域。
结合第一方面的第三种可能的实现方式,在第一方面的第四种可能的实现方式中,该第一取值范围为大于等于10,且小于20。
结合第一方面的第二种可能的实现方式,在第一方面的第五种可能的实现方式中,该方法还包括:确定该编码信息;
该编码信息包括该第二参考图像中的局部区域的量化步长的缩放因子;对应,该根据该编码信息以及预设规则来确定该第二参考图像中的局部区域是否用于更新该第一参考图像中对应区域或者相关区域包括:当该量化步长的缩放因子在第二取值范围内时,确定该第二参考图像中的局部区域用于更新该第一参考图像中对应区域或者相关区域;当该量化步长的缩放因子不在第二取值范围内时,确定该第二参考图像中的局部区域不用于更新该第一参考图像中对应区域或者相关区域。
结合第一方面的第五种可能的实现方式,在第一方面的第六种可能的实现方式中,所述当所述量化步长的缩放因子在第二取值范围内时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域包括:当所述量化步长的所述缩放因子大于等于0.5,且小于1;或所述缩放因子小于等于1.5,且大于1时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域。
结合第一方面,第一方面的第一种至第六种可能的实现方式中任一可能的实现方式,在第一方面的第七种可能的实现方式中,该第一参考图像中对应区域为该第一参考图像中与该第二参考图像中的局部区域的坐标位置相同的区域。
结合第一方面,第一方面的第一种至第六种可能的实现方式中任一可能的实现方式,在第一方面的第八种可能的实现方式中,该参考图像更新信息还包括有该局部区域所在的坐标位置与该第一参考图像中相关区域所在的坐标位置之间的空间偏移量,该空间偏移量包括横向偏移量和纵向偏移量;对应,该方法还包括:
根据该第二参考图像的局域区域的所在位置的坐标以及该的空间偏移量确定该第一参考图像相关区域的位置。
结合第一方面,第一方面的第一种至第八种可能的实现方式中任一可能的实现方式,在第一方面的第九种可能的实现方式中,还包括:对像素替换后的第一参考图像中对应区域或者相关区域与相邻区域的边界处进行滤波。
结合第一方面,第一方面的第一种至第九种可能的实现方式中任一可能的实现方式,在第一方面的第十种可能的实现方式中,该第一参考图像为解析码流获得的第一帧重构图像。
结合第一方面,第一方面的第一种至第九种可能的实现方式中任一可能的实现方式,在第一方面的第十一种可能的实现方式中,该第一参考图像为解析码流获得的随机访问点图像。
结合第一方面,第一方面的第一种至第十一种可能的实现方式中任一可能的实现方式,在第一方面的第十二种可能的实现方式中,该第二参考图像的局部区域是最大编码单元、编码单元、编码单元组、预设大小的图像区域中的一种。
结合第一方面,在第一方面的第十三种可能的实现方式中,解析码流获得第一参考图像的重构图像,包括:解析所述码流获得所述第一参考图像的特定顺序号,并获得具有所述特定顺序号的第一参考图像的重构图像。。
结合第一方面,以及在第一方面的第十三种可能的实现方式,在第一方面的第十四种可能的实现方式中,解析码流获得第二参考图像的重构图像,还包括:解析所述码流获得所述第二参考图像的特定顺序号,所述第二参考图像的特定顺序号与被所述第二参考图像更新的所述第一参考图像的特定顺序号相关联,并获得具有所述第二参考图像的特定顺序号的第二参考图像的重构图像。
第二方面,提供了一种参考图像解码的方法,包括:解析码流,获得第一参考图像的重构图像以及第二参考图像的重构图像,该第一参考图像先于该第二参考图像被解码;在该解析码流获得第二参考图像的重构图像之前,或者该解析码流获得第二参考图像的重构图像之中,或者该解析码流获得第二参考图像的重构图像之后;解析码流,获得参考图像更新信息,并根据该参考图像更新信息确定该第二参考图像中的局部区域是否适用于更新该第一参考图像中对应区域或者相关区域,该局部区域的尺寸小于或者等于该第二参考图像的尺寸;确定该第一参考图像中对应区域或者相关区域是否已更新;当该第一参考图像中对应区域或者相关区域未更新,且该参考图像更新信息确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域时,用该第二参考图像中局部区域的像素值替换该第一参考图像中对应区域或者相关区域的像素值。
结合第二方面,在第二方面的第一种可能的实现方式中,解析码流,获得参考图像更新信息,并根据该参考图像更新信息确定该第二参考图像中的局部区域是否适用于更新该第一参考图像中对应区域或者相关区域包括:解析该码流,获取标记,若该标记为第一取值时,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域,若该标志为第二取值时,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域,第一取值不同于第二取值。
结合第二方面,在第二方面的第二种可能的实现方式中,解析码流,获得参考图像更新信息,并根据该参考图像更新信息确定该第二参考图像中的局部区域是否适用于更新该第一参考图像中对应区域或者相关区域包括:解析该码流,获取编码信息,根据该编码信息以及预设规则来确定该第二参考图像中的局部区域是否适用于更新该第一参考图像中对应区域或者相关区域。
结合第二方面的第二种可能的实现方式,在第二方面的第三种可能的实现方式中,该方法还包括:确定该编码信息。
其中该编码信息包括该第二参考图像中的局部区域的变换系数信息,其中,该变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和;对应,该根据该编码信息以及预设规则来确定该第二参考图像中的局部区域是否适用于更新该第一参考图像中对应区域或者相关区域包括:
当该局部区域覆盖范围内的变换系数绝对值之和大于第一阈值,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第二方面的第二种可能的实现方式,在第二方面的第四种可能的实现方式中,该方法还包括:确定该编码信息。
其中该编码信息包括该第二参考图像中的局部区域的变换系数信息,其中,该变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和的平均值;对应,该根据该编码信息以及预设规则来确定该第二参考图像中的局部区域是否用于更新该第一参考图像包括:
当该局部区域覆盖范围内的变换系数绝对值之和的平均值大于第二阈值,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第二方面的第二种可能的实现方式,在第二方面的第五种可能的实现方式中,该方法还包括:确定该编码信息;
其中,该编码信息包括该第二参考图像中的局部区域的量化参数偏移值;对应,该根据该编码信息以及预设规则来确定该第二参考图像中的局部区域是否适用于更新该第一参考图像中对应区域或者相关区域包括:当该量化参数偏移值的绝对值在第一取值范围内时,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域;当该量化参数偏移值的绝对值不在第一取值范围内时,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第二方面的第五种可能的实现方式,在第二方面的第六种可能的实现方式中,该第一取值范围为大于等于10,且小于20。
结合第二方面的第二种可能的实现方式,在第二方面的第七种可能的实现方式中,该方法还包括:确定该编码信息;
该编码信息包括该第二参考图像中的局部区域的量化步长的缩放因子;对应,该根据该编码信息以及预设规则来确定该第二参考图像中的局部区域是否适用于更新该第一参考图像中对应区域或者相关区域包括:当该量化步长的缩放因子在第二取值范围内时,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域;当该量化步长的缩放因子不在第二取值范围内时,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第二方面的第七种可能的实现方式,在第二方面的第八种可能的实现方式中,所述当所述量化步长的缩放因子在第二取值范围内时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域包括:当所述量化步长的所述缩放因子大于等于0.5,且小于1;或所述缩放因子小于等于1.5,且大于1时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域。
结合第二方面的第二种可能的实现方式,在第二方面的第九种可能的实现方式中,该方法还包括:确定该编码信息;
该编码信息包括该第二参考图像中的局部区域的运动矢量信息,其中,该运动矢量信息包括局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值;对应,该根据该编码信息以及预设规则来确定该第二参考图像中的局部区域是否适用于更新该第一参考图像中对应区域或者相关区域包括:当该局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值均小于第三阈值,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第二方面的第二种可能的实现方式,在第二方面的第十种可能的实现方式中,该方法还包括:确定该编码信息;
该编码信息包括该第二参考图像中的局部区域的运动矢量信息,其中,该运动矢量信息包括局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,和该第二参考图像前一已解码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值;对应,该根据该编码信息以及预设规则来确定该第二参考图像中的局部区域是否适用于更新该第一参考图像中对应区域或者相关区域包括:当该局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值小于所述前一已解码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第二方面,第二方面的第一种至第十种可能的实现方式中任一可能的实现方式,在第二方面的第十一种可能的实现方式中,该第一参考图像中对应区域为该第一参考图像中与该第二参考图像中的局部区域的坐标位置相同的区域。
结合第二方面,第二方面的第一种至第十种可能的实现方式中任一可能的实现方式,在第二方面的第十二种可能的实现方式中,当所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域被更新过时,以预定顺序依次搜索所述第一参考图像中的区域,所述第一参考图像中对应区域为所述顺序中的第一块没有被更新过的区域,否则,该第一参考图像中对应区域为该第一参考图像中与该第二参考图像中的局部区域的坐标位置相同的区域。
结合第二方面,第二方面的第一种至第十种可能的实现方式中任一可能的实现方式,在第二方面的第十三种可能的实现方式中,所述解析码流,所述获得参考图像更新信息,并根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域还包括:获得所述局部区域所在的坐标位置与所述第一参考图像中相关区域所在的坐标位置之间的空间偏移量,所述空间偏移量包括横向偏移量和纵向偏移量;
所述方法还包括:在用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值之前,根据所述第二参考图像的局域区域的所在位置的坐标以及所述的空间偏移量确定所述第一参考图像相关区域的位置。
结合第二方面,第二方面的第一种至第十三种可能的实现方式中任一可能的实现方式,在第二方面的第十四种可能的实现方式中,还包括:对像素替换后的第一参考图像中对应区域或者相关区域与相邻区域的边界处进行滤波。
结合第二方面,第二方面的第一种至第十四种可能的实现方式中任一可能的实现方式,在第二方面的第十五种可能的实现方式中,还包括:该第一参考图像为解析码流获得的第一帧重构图像。
结合第二方面,第二方面的第一种至第十四种可能的实现方式中任一可能的实现方式,在第二方面的第十六种可能的实现方式中,还包括:该第一参考图像为解析码流获得的随机访问点图像。
结合第二方面,第二方面的第一种至第十六种可能的实现方式中任一可能的实现方式,在第二方面的第十七种可能的实现方式中,还包括:该第二参考图像的局部区域是最大编码单元、编码单元、编码单元组、预设大小的图像区域中的一种。
结合第二方面,在第二方面的第十七种可能的实现方式中,解析码流获得第一参考图像的重构图像,包括:解析所述码流获得所述第一参考图像的特定顺序号,并获得具有所述特定顺序号的第一参考图像的重构图像。
结合第二方面,以及在第二方面的第十七种可能的实现方式,在第二方面的第十八种可能的实现方式中,解析码流获得第二参考图像的重构图像,包括:解析所述码流获得所述第二参考图像的特定顺序号,所述第二参考图像的特定顺序号与被所述第二参考图像更新的所述第一参考图像的特定顺序号相关联,并获得具有所述第二参考图像的特定顺序号的第二参考图像的重构图像。
第三方面,提供了一种参考图像编码的方法,包括:编码待编码序列,获得第一参考图像的重构图像,编码第二参考图像以获得所述第二参考图像的重构图像,该第一参考图像先于该第二参考图像被编码;确定该第二参考图像中的局部区域是否适用于更新该第一参考图像中对应区域或者相关区域,该局部区域的尺寸小于或者等于该第二参考图像的尺寸;确定该第一参考图像中对应区域或者相关区域是否已更新;当该第一参考图像中对应区域或者相关区域未更新,且该参考图像更新信息确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域时,用该第二参考图像中局部区域的像素值替换该第一参考图像中对应区域或者相关区域的像素值;将用来确定该第二参考图像中的局部区域是否用于更新该第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流。
结合第三方面,在第三方面的第一种可能的实现方式中,确定该第二参考图像中的局部区域是否适用于更新该第一参考图像中对应区域或者相关区域,包括:
获取该第二参考图像的待编码图像与该局部区域具有相同坐标位置的第一区域,以及该第二参考图像前一帧的待编码图像与该局部区域具有相同坐标位置的第二区域;
计算该第一区域与该第二区域中的所有像素点的均方误差值;
当该均方误差值小于第四阈值时,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第三方面,在第三方面的第二种可能的实现方式中,确定该第二参考图像中的局部区域是否适用于更新该第一参考图像中对应区域或者相关区域,包括:
获取该局部区域的待编码图像进行帧间预测,获得该局部区域的预测图像;
计算该局部区域的待编码图像与该局部区域的预测图像的所有像素点的横轴预测差绝对值和纵轴预测差绝对值之后的平均值;
当该平均值小于第五阈值时,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第三方面,在第三方面的第四种可能的实现方式中,确定该第二参考图像中的局部区域是否适用于更新该第一参考图像中对应区域或者相关区域,包括:
获取该第二参考图像中的局部区域的变换系数信息,其中,该变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和;
当该局部区域覆盖范围内的变换系数绝对值之和大于第六阈值时,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第三方面,在第三方面的第五种可能的实现方式中,确定该第二参考图像中的局部区域是否适用于更新该第一参考图像中对应区域或者相关区域,包括:
获取该第二参考图像中的局部区域的变换系数信息,其中,该变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和的平均值;
当该局部区域覆盖范围内的变换系数绝对值之和的平均值大于第七阈值时,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第三方面,在第三方面的第六种可能的实现方式中,确定该第二参考图像中的局部区域是否适用于更新该第一参考图像中对应区域或者相关区域,包括:
统计该第二参考图像的局部区域的编码比特数和其前一个被编码区域的编码比特数;
当该第二参考图像的局部区域的编码比特数大于其前一个被编码区域的编码比特数时,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第三方面,在第三方面的第七种可能的实现方式中,确定该第二参考图像中的局部区域是否适用于更新该第一参考图像中对应区域或者相关区域,包括:
统计该第二参考图像的局部区域的编码比特数和其前一被编码帧的区域平均编码比特数;
当该第二参考图像的局部区域的编码比特数大于其前一被编码帧的区域平均编码比特数时,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第三方面,在第三方面的第八种可能的实现方式中,确定该第二参考图像中的局部区域是否适用于更新该第一参考图像中对应区域或者相关区域,包括:
获取该第二参考图像中的局部区域的运动矢量信息,其中,该运动矢量信息包括局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值;
当该局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值均小于第八阈值,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第三方面,在第三方面的第九种可能的实现方式中,确定该第二参考图像中的局部区域是否适用于更新该第一参考图像中对应区域或者相关区域,包括:
获取该第二参考图像中的局部区域运动矢量信息,其中,该运动矢量信息包括局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,和该第二参考图像前一已编码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值;
当该局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值小于该前一已编码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第三方面,在第三方面的第十种可能的实现方式中,该参考图像更新信息,包括:
确定该第二参考图像中的局部区域是否用于更新该第一参考图像中对应区域或者相关区域的标记;
对应,将用来确定该第二参考图像中的局部区域是否用于更新该第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流,包括:将该标记的取值编入码流,当该第二参考图像中的局部区域用于更新该第一参考图像中对应区域或者相关区域,该标记为第一取值;当该第二参考图像中的局部区域不用于更新该第一参考图像中对应区域或者相关区域,该标记为第二取值,第一取值不同于第二取值。
结合第三方面,在第三方面的第十一种可能的实现方式中,该参考图像更新信息,包括:
该第二参考图像的局部区域的量化参数偏移值;
对应,将用来确定该第二参考图像中的局部区域是否用于更新该第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流,包括:将该量化参数偏移值编入码流,当该第二参考图像中的局部区域用于更新该第一参考图像中对应区域或者相关区域,该量化参数偏移值的绝对值在第三取值范围内;当该第二参考图像中的局部区域不用于更新该第一参考图像中对应区域或者相关区域,该量化参数偏移值的绝对值不在第三取值范围内。
结合第三方面的第十一种可能的实现方式,在第三方面的第十二种可能的实现方式中,该方法还包括:该第三取值范围为大于等于10,且小于20。
结合第三方面,在第三方面的第十三种可能的实现方式中,该参考图像更新信息,包括:
该第二参考图像的局部区域的量化步长的缩放因子;
对应,将用来确定该第二参考图像中的局部区域是否用于更新该第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流,包括:将该量化步长的缩放因子编入码流,当该第二参考图像中的局部区域用于更新该第一参考图像中对应区域或者相关区域,该量化步长的缩放因子在第四取值范围内;当该第二参考图像中的局部区域不用于更新该第一参考图像中对应区域或者相关区域,该量化步长的缩放因子不在第四取值范围内。
结合第三方面的第十三种可能的实现方式,在第三方面的第十四种可能的实现方式中,所述当所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,所述量化步长的缩放因子在第四取值范围内包括:当所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,所述量化步长的所述缩放因子大于等于0.5,且小于1;或所述缩放因子小于等于1.5,且大于1。
结合第三方面,在第三方面的第十五种可能的实现方式中,该参考图像更新信息,包括:
该第二参考图像的局部区域的变换系数信息,其中,该变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和;
对应,将用来确定该第二参考图像中的局部区域是否用于更新该第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流,包括:将该变换系数信息编入码流,当该局部区域覆盖范围内的变换系数绝对值之和大于第九阈值,且该第一参考图像中对应区域或者相关区域没有被更新过,确定该第二参考图像中的局部区域用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不用于更新该第一参考图像中对应区域或者相关区域
结合第三方面,在第三方面的第十六种可能的实现方式中,该参考图像更新信息,包括:
该第二参考图像的局部区域的变换系数信息,其中,该变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和的平均值;
对应,将用来确定该第二参考图像中的局部区域是否用于更新该第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流,包括:将该变换系数信息编入码流,当该局部区域覆盖范围内的变换系数绝对值之和的平均值大于第十阈值,且该第一参考图像中对应区域或者相关区域没有被更新过,确定该第二参考图像中的局部区域用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不用于更新该第一参考图像中对应区域或者相关区域。
结合第三方面,在第三方面的第十七种可能的实现方式中,该参考图像更新信息,包括:
该第二参考图像的局部区域的运动矢量信息,其中,该运动矢量信息包括局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值;
对应,将用来确定该第二参考图像中的局部区域是否用于更新该第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流,包括:将该运动矢量信息编入码流,当该局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值均小于第十一阈值,且该第一参考图像中对应区域或者相关区域没有被更新过,确定该第二参考图像中的局部区域用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不用于更新该第一参考图像中对应区域或者相关区域。
结合第三方面,在第三方面的第十八种可能的实现方式中,该参考图像更新信息,包括:
该第二参考图像中的局部区域运动矢量信息,其中,该运动矢量信息包括局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,和该第二参考图像前一已编码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值;
对应,将用来确定该第二参考图像中的局部区域是否用于更新该第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流,包括:将该运动矢量信息编入码流,当该局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值小于该前一已编码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,且该第一参考图像中对应区域或者相关区域没有被更新过,确定该第二参考图像中的局部区域用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不用于更新该第一参考图像中对应区域或者相关区域。
结合第三方面,在第三方面的第十九种可能的实现方式中,编码待编码序列,获得第二参考图像的重构图像,包括:
使用固定量化参数编码该第二参考图像的待编码图像,其中,对于该局部区域使用第一量化参数,对于非该局部区域使用第二量化参数。
结合第三方面的第十九种可能的实现方式,在第三方面的第二十种可能的实现方式中,该方法还包括:
当第二量化参数大于等于0,且小于10时,第一量化参数为第二量化参数;当第二量化参数大于等于10,且小于37时,第一量化参数为第二量化参数减5;当第二量化参数大于等于37,且小于等于51时,第一量化参数为第二量化参数减10。
结合第三方面,在第三方面的第二十一种可能的实现方式中,编码待编码序列,获得第二参考图像的重构图像,包括:
使用自适应量化参数编码该第二参考图像的待编码图像,其中,对于该局部区域根据纹理信息和运动信息至少其中之一确定量化参数,对于非该局部区域使用帧级量化参数或者根据编码器规定的码率分配策略或质量控制策略设置确定量化参数。
结合第三方面,第三方面的第一种至第二十一种可能的实现方式中任一可能的实现方式,在第三方面的第二十二种可能的实现方式中,还包括:该第一参考图像中对应区域为该第一参考图像中与该第二参考图像中的局部区域的坐标位置相同的区域。
结合第三方面,第三方面的第一种至第二十一种可能的实现方式中任一可能的实现方式,在第三方面的第二十三种可能的实现方式中,当所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域被更新过时,以预定顺序依次搜索所述第一参考图像中的区域,所述第二参考图像中对应区域为所述顺序中的第一块没有被更新过的区域,否则,该第一参考图像中对应区域为该第一参考图像中与该第二参考图像中的局部区域的坐标位置相同的区域。
结合第三方面,第三方面的第一种至第二十一种可能的实现方式中任一可能的实现方式,在第三方面的第二十四种可能的实现方式中,还包括:该参考图像更新信息还包括有该局部区域所在的坐标位置与该第一参考图像中相关区域所在的坐标位置之间的空间偏移量,该空间偏移量包括横向偏移量和纵向偏移量;对应,该方法还包括:
将该空间偏移量编入码流。
结合第三方面,第三方面的第一种至第二十四种可能的实现方式中任一可能的实现方式,在第三方面的第二十五种可能的实现方式中,还包括:对像素替换后的第一参考图像中对应区域或者相关区域与相邻区域的边界处进行滤波。
结合第三方面,第三方面的第一种至第二十五种可能的实现方式中任一可能的实现方式,在第三方面的第二十六种可能的实现方式中,还包括:该第一参考图像为编码待编码序列获得的第一帧重构图像。
结合第三方面,第三方面的第一种至第二十五种可能的实现方式中任一可能的实现方式,在第三方面的第二十七种可能的实现方式中,还包括:该第一参考图像为编码待编码序列获得的随机访问点图像。
结合第三方面,第三方面的第一种至第二十七种可能的实现方式中任一可能的实现方式,在第三方面的第二十八种可能的实现方式中,包括:该第二参考图像的局部区域是最大编码单元、编码单元、编码单元组、预设大小的图像区域中的一种。
结合第三方面,在第三方面的第二十九种可能的实现方式中,编码待编码序列,获得第一参考图像的重构图像,还包括:检测该待编码序列;判断该第一参考图像是否为场景切换图像;确定该第一参考图像特定顺序号;在编码该第一参考图像的待编码图像之前或之后,将该特定顺序号编入码流。
结合第三方面,在第三方面的第三十种可能的实现方式中,编码待编码序列,获得第二参考图像的重构图像,还包括:确定被该第二参考图像所更新的该第一参考图像的特定顺序号;在编码该第二参考图像的待编码图像之前或之后,将该特定顺序号或者与该特定顺序号关联的号码编入码流。
第四方面,提供了一种参考图像解码的设备,包括:第一解码模块,用于解析码流,获得第一参考图像的重构图像以及第二参考图像的重构图像,该第一参考图像先于该第二参考图像被解码;第二解码模块,用于在该解析码流获得第二参考图像的重构图像之前,或者该解析码流获得第二参考图像的重构图像之中,或者该解析码流获得第二参考图像的重构图像之后;解析码流,获得参考图像更新信息,并根据该参考图像更新信息确定该第二参考图像中的局部区域是否用于更新该第一参考图像中对应区域或者相关区域,该局部区域的尺寸小于或者等于该第二参考图像的尺寸;第三解码模块,用于当该参考图像更新信息确定该第二参考图像中的局部区域用于更新该第一参考图像中对应区域或者相关区域时,用该第二参考图像中局部区域的像素值替换该第一参考图像中对应区域或者相关区域的像素值。
结合第四方面,在第四方面的第一种可能的实现方式中,所述第二解码模块具体用于:解析该码流,获取标记,若该标记为第一取值时,确定该第二参考图像中的局部区域用于更新该第一参考图像中对应区域或者相关区域,若该标志为第二取值时,确定该第二参考图像中的局部区域不用于更新该第一参考图像中对应区域或者相关区域,第一取值不同于第二取值。
结合第四方面,在第四方面的第二种可能的实现方式中,所述第二解码模块具体用于:解析该码流,获取编码信息,根据该编码信息以及预设规则来确定该第二参考图像中的局部区域是否用于更新该第一参考图像中对应区域或者相关区域。
结合第四方面的第二种可能的实现方式,在第四方面的第三种可能的实现方式中,该方法还包括:确定该编码信息;
其中,该编码信息包括该第二参考图像中的局部区域的量化参数偏移值;对应,所述第二解码模块具体用于:当该量化参数偏移值的绝对值在第一取值范围内时,确定该第二参考图像中的局部区域用于更新该第一参考图像中对应区域或者相关区域;当该量化参数偏移值的绝对值不在第一取值范围内时,确定该第二参考图像中的局部区域不用于更新该第一参考图像中对应区域或者相关区域。
结合第四方面的第三种可能的实现方式,在第四方面的第四种可能的实现方式中,该方法还包括:该第一取值范围为大于等于10,且小于20。
结合第四方面的第二种可能的实现方式,在第四方面的第五种可能的实现方式中,该方法还包括:确定该编码信息;
该编码信息包括该第二参考图像中的局部区域的量化步长的缩放因子;对应,所述第二解码模块具体用于:当该量化步长的缩放因子在第二取值范围内时,确定该第二参考图像中的局部区域用于更新该第一参考图像中对应区域或者相关区域;当该量化步长的缩放因子不在第二取值范围内时,确定该第二参考图像中的局部区域不用于更新该第一参考图像中对应区域或者相关区域。
结合第四方面的第五种可能的实现方式,在第四方面的第六种可能的实现方式中,所述当所述量化步长的缩放因子在第二取值范围内时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域包括:当所述量化步长的所述缩放因子大于等于0.5,且小于1;或所述缩放因子小于等于1.5,且大于1时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域。
结合第四方面,第四方面的第一种至第六种可能的实现方式中任一可能的实现方式,在第四方面的第七种可能的实现方式中,该第一参考图像中对应区域为该第一参考图像中与该第二参考图像中的局部区域的坐标位置相同的区域。
结合第四方面,第四方面的第一种至第六种可能的实现方式中任一可能的实现方式,在第四方面的第八种可能的实现方式中,
所述第二解码模块还具体用于:获得所述局部区域所在的坐标位置与所述第一参考图像中相关区域所在的坐标位置之间的空间偏移量,所述空间偏移量包括横向偏移量和纵向偏移量,并在所述第三解码模块用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值之前,根据所述第二参考图像的局域区域的所在位置的坐标以及所述的空间偏移量确定所述第一参考图像相关区域的位置。
结合第四方面,第四方面的第一种至第八种可能的实现方式中任一可能的实现方式,在第四方面的第九种可能的实现方式中,还包括第四解码模块,所述第四解码模块还具体用于:对像素替换后的第一参考图像中对应区域或者相关区域与相邻区域的边界处进行滤波。
结合第四方面,第四方面的第一种至第九种可能的实现方式中任一可能的实现方式,在第四方面的第十种可能的实现方式中,该第一参考图像为解析码流获得的第一帧重构图像。
结合第四方面,第四方面的第一种至第九种可能的实现方式中任一可能的实现方式,在第四方面的第十一种可能的实现方式中,该第一参考图像为解析码流获得的随机访问点图像。
结合第四方面,第四方面的第一种至第十一种可能的实现方式中任一可能的实现方式,在第四方面的第十二种可能的实现方式中,该第二参考图像的局部区域是最大编码单元、编码单元、编码单元组、预设大小的图像区域中的一种。
结合第四方面,在第四方面的第十三种可能的实现方式中,所述第一解码模块还具体用于:解析该码流获得该第一参考图像的特定顺序号。
结合第四方面,以及第四方面的第十三种可能的实现方式,在第四方面的第十四种可能的实现方式中,所述第一解码模块还具体用于:解析该码流获得该第二参考图像的特定顺序号,该特定顺序号与被该第二参考图像更新的该第一参考图像的特定顺序号相关联。
第五方面,提供了一种参考图像解码的设备,包括:第一解码模块,用于解析码流,获得第一参考图像的重构图像以及第二参考图像的重构图像,该第一参考图像先于该第二参考图像被解码;第二解码模块,用于在该解析码流获得第二参考图像的重构图像之前,或者该解析码流获得第二参考图像的重构图像之中,或者该解析码流获得第二参考图像的重构图像之后;解析码流,获得参考图像更新信息,并根据该参考图像更新信息确定该第二参考图像中的局部区域是否适用于更新该第一参考图像中对应区域或者相关区域,该局部区域的尺寸小于或者等于该第二参考图像的尺寸;第三解码模块,用于确定该第一参考图像中对应区域或者相关区域是否已更新;当该第一参考图像中对应区域或者相关区域未更新,且该参考图像更新信息确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域时,用该第二参考图像中局部区域的像素值替换该第一参考图像中对应区域或者相关区域的像素值。
结合第五方面,在第五方面的第一种可能的实现方式中,所述第二解码模块具体用于:解析该码流,获取标记,若该标记为第一取值时,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域,若该标志为第二取值时,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域,第一取值不同于第二取值。
结合第五方面,在第五方面的第二种可能的实现方式中,所述第二解码模块具体用于:解析该码流,获取编码信息,根据该编码信息以及预设规则来确定该第二参考图像中的局部区域是否适用于更新该第一参考图像中对应区域或者相关区域。
结合第五方面的第二种可能的实现方式,在第五方面的第三种可能的实现方式中,该方法还包括:确定该编码信息。
其中该编码信息包括该第二参考图像中的局部区域的变换系数信息,其中,该变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和;对应,所述第二解码模块具体用于:
当该局部区域覆盖范围内的变换系数绝对值之和大于第一阈值,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第五方面的第二种可能的实现方式,在第五方面的第四种可能的实现方式中,该方法还包括:确定该编码信息。
其中该编码信息包括该第二参考图像中的局部区域的变换系数信息,其中,该变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和的平均值;对应,所述第二解码模块具体用于:
当该局部区域覆盖范围内的变换系数绝对值之和的平均值大于第二阈值,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第五方面的第二种可能的实现方式,在第五方面的第五种可能的实现方式中,该方法还包括:确定该编码信息;
其中,该编码信息包括该第二参考图像中的局部区域的量化参数偏移值;对应,所述第二解码模块具体用于:当该量化参数偏移值的绝对值在第一取值范围内时,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域;当该量化参数偏移值的绝对值不在第一取值范围内时,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第五方面的第五种可能的实现方式,在第五方面的第六种可能的实现方式中,该方法还包括:该第一取值范围为大于等于10,且小于20。
结合第五方面的第二种可能的实现方式,在第五方面的第七种可能的实现方式中,该方法还包括:确定该编码信息;
该编码信息包括该第二参考图像中的局部区域的量化步长的缩放因子;对应,所述第二解码模块具体用于:当该量化步长的缩放因子在第二取值范围内时,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域;当该量化步长的缩放因子不在第二取值范围内时,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第五方面的第七种可能的实现方式,在第五方面的第八种可能的实现方式中,所述当所述量化步长的缩放因子在第二取值范围内时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域包括:当所述量化步长的所述缩放因子大于等于0.5,且小于1;或所述缩放因子小于等于1.5,且大于1时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域。
结合第五方面的第二种可能的实现方式,在第五方面的第九种可能的实现方式中,该方法还包括:确定该编码信息;
该编码信息包括该第二参考图像中的局部区域的运动矢量信息,其中,该运动矢量信息包括局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值;对应,所述第二解码模块具体用于:当该局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值均小于第三阈值,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第五方面的第二种可能的实现方式,在第五方面的第十种可能的实现方式中,该方法还包括:确定该编码信息;
该编码信息包括该第二参考图像中的局部区域的运动矢量信息,其中,该运动矢量信息包括局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,和该第二参考图像前一已解码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值;对应,所述第二解码模块具体用于:当该局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值小于所述前一已解码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第五方面,第五方面的第一种至第十种可能的实现方式中任一可能的实现方式,在第五方面的第十一种可能的实现方式中,该第一参考图像中对应区域为该第一参考图像中与该第二参考图像中的局部区域的坐标位置相同的区域。
结合第五方面,第五方面的第一种至第十种可能的实现方式中任一可能的实现方式,在第五方面的第十二种可能的实现方式中,所述第二解码模块还具体用于:当所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域被更新过时,以预定顺序依次搜索所述第一参考图像中的区域,所述第一参考图像中对应区域为所述顺序中的第一块没有被更新过的区域,否则,该第一参考图像中对应区域为该第一参考图像中与该第二参考图像中的局部区域的坐标位置相同的区域。
结合第五方面,第五方面的第一种至第十种可能的实现方式中任一可能的实现方式,在第五方面的第十三种可能的实现方式中,所述第二解码模块还具体用于:获得所述局部区域所在的坐标位置与所述第一参考图像中相关区域所在的坐标位置之间的空间偏移量,所述空间偏移量包括横向偏移量和纵向偏移量,并在所述第三解码模块用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值之前,根据所述第二参考图像的局域区域的所在位置的坐标以及所述的空间偏移量确定所述第一参考图像相关区域的位置。
结合第五方面,第五方面的第一种至第十三种可能的实现方式中任一可能的实现方式,在第五方面的第十四种可能的实现方式中,还包括第四解码模块,所述第四解码模块还具体用于:对像素替换后的第一参考图像中对应区域或者相关区域与相邻区域的边界处进行滤波。
结合第五方面,第五方面的第一种至第十四种可能的实现方式中任一可能的实现方式,在第五方面的第十五种可能的实现方式中,还包括:该第一参考图像为解析码流获得的第一帧重构图像。
结合第五方面,第五方面的第一种至第十四种可能的实现方式中任一可能的实现方式,在第五方面的第十六种可能的实现方式中,还包括:该第一参考图像为解析码流获得的随机访问点图像。
结合第五方面,第五方面的第一种至第十六种可能的实现方式中任一可能的实现方式,在第五方面的第十七种可能的实现方式中,还包括:该第二参考图像的局部区域是最大编码单元、编码单元、编码单元组、预设大小的图像区域中的一种。
结合第五方面,在第五方面的第十七种可能的实现方式中,所述第一解码模块还具体用于:解析该码流获得该第一参考图像的特定顺序号。
结合第五方面,以及在第五方面的第十七种可能的实现方式,在第五方面的第十八种可能的实现方式中,所述第一解码模块还具体用于:解析该码流获得该第二参考图像的特定顺序号,该特定顺序号与被该第二参考图像更新的该第一参考图像的特定顺序号相关联。
第六方面,提供了一种参考图像编码的设备,包括:第一编码模块,用于编码待编码序列,获得第一参考图像的重构图像,编码第二参考图像以获得所述第二参考图像的重构图像,该第一参考图像先于该第二参考图像被编码;第二编码模块,用于确定该第二参考图像中的局部区域是否适用于更新该第一参考图像中对应区域或者相关区域,该局部区域的尺寸小于或者等于该第二参考图像的尺寸;第三编码模块,用于确定该第一参考图像中对应区域或者相关区域是否已更新;当该第一参考图像中对应区域或者相关区域未更新,且该参考图像更新信息确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域时,用该第二参考图像中局部区域的像素值替换该第一参考图像中对应区域或者相关区域的像素值;第四编码模块,用于将用来确定该第二参考图像中的局部区域是否用于更新该第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流。
结合第六方面,在第六方面的第一种可能的实现方式中,所述第二编码模块具体用于:
获取该第二参考图像的待编码图像与该局部区域具有相同坐标位置的第一区域,以及该第二参考图像前一帧的待编码图像与该局部区域具有相同坐标位置的第二区域;
计算该第一区域与该第二区域中的所有像素点的均方误差值;
当该均方误差值小于第四阈值时,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第六方面,在第六方面的第二种可能的实现方式中,所述第二编码模块具体用于:
获取该局部区域的待编码图像进行帧间预测,获得该局部区域的预测图像;
计算该局部区域的待编码图像与该局部区域的预测图像的所有像素点的横轴预测差绝对值和纵轴预测差绝对值之后的平均值;
当该平均值小于第五阈值时,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第六方面,在第六方面的第四种可能的实现方式中,所述第二编码模块具体用于:
获取该第二参考图像中的局部区域的变换系数信息,其中,该变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和;
当该局部区域覆盖范围内的变换系数绝对值之和大于第六阈值时,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第六方面,在第六方面的第五种可能的实现方式中,所述第二编码模块具体用于:
获取该第二参考图像中的局部区域的变换系数信息,其中,该变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和的平均值;
当该局部区域覆盖范围内的变换系数绝对值之和的平均值大于第七阈值时,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第六方面,在第六方面的第六种可能的实现方式中,所述第二编码模块具体用于:
统计该第二参考图像的局部区域的编码比特数和其前一个被编码区域的编码比特数;
当该第二参考图像的局部区域的编码比特数大于其前一个被编码区域的编码比特数时,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第六方面,在第六方面的第七种可能的实现方式中,所述第二编码模块具体用于:
统计该第二参考图像的局部区域的编码比特数和其前一被编码帧的区域平均编码比特数;
当该第二参考图像的局部区域的编码比特数大于其前一被编码帧的区域平均编码比特数时,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第六方面,在第六方面的第八种可能的实现方式中,所述第二编码模块具体用于:
获取该第二参考图像中的局部区域的运动矢量信息,其中,该运动矢量信息包括局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值;
当该局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值均小于第八阈值,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第六方面,在第六方面的第九种可能的实现方式中,所述第二编码模块具体用于:
获取该第二参考图像中的局部区域运动矢量信息,其中,该运动矢量信息包括局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,和该第二参考图像前一已编码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值;
当该局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值小于该前一已编码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,确定该第二参考图像中的局部区域适用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不适用于更新该第一参考图像中对应区域或者相关区域。
结合第六方面,在第六方面的第十种可能的实现方式中,所述第四编码模块具体用于:
确定该第二参考图像中的局部区域是否用于更新该第一参考图像中对应区域或者相关区域的标记;
对应,所述第四编码模块具体用于:将该标记的取值编入码流,当该第二参考图像中的局部区域用于更新该第一参考图像中对应区域或者相关区域,该标记为第一取值;当该第二参考图像中的局部区域不用于更新该第一参考图像中对应区域或者相关区域,该标记为第二取值,第一取值不同于第二取值。
结合第六方面,在第六方面的第十一种可能的实现方式中,该参考图像更新信息,包括:
该第二参考图像的局部区域的量化参数偏移值;
对应,所述第四编码模块具体用于:将该量化参数偏移值编入码流,当该第二参考图像中的局部区域用于更新该第一参考图像中对应区域或者相关区域,该量化参数偏移值的绝对值在第三取值范围内;当该第二参考图像中的局部区域不用于更新该第一参考图像中对应区域或者相关区域,该量化参数偏移值的绝对值不在第三取值范围内。
结合第六方面的第十一种可能的实现方式,在第六方面的第十二种可能的实现方式中,该方法还包括:该第三取值范围为大于等于10,且小于20。
结合第六方面,在第六方面的第十三种可能的实现方式中,该参考图像更新信息,包括:
该第二参考图像的局部区域的量化步长的缩放因子;
对应,所述第四编码模块具体用于:将该量化步长的缩放因子编入码流,当该第二参考图像中的局部区域用于更新该第一参考图像中对应区域或者相关区域,该量化步长的缩放因子在第四取值范围内;当该第二参考图像中的局部区域不用于更新该第一参考图像中对应区域或者相关区域,该量化步长的缩放因子不在第四取值范围内。
结合第六方面的第十三种可能的实现方式,在第六方面的第十四种可能的实现方式中,该方法还包括:所述当所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,所述量化步长的缩放因子在第四取值范围内包括:当所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,所述量化步长的所述缩放因子大于等于0.5,且小于1;或所述缩放因子小于等于1.5,且大于1。
结合第六方面,在第六方面的第十五种可能的实现方式中,该参考图像更新信息,包括:
该第二参考图像的局部区域的变换系数信息,其中,该变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和;
对应,所述第四编码模块具体用于:将该变换系数信息编入码流,当该局部区域覆盖范围内的变换系数绝对值之和大于第九阈值,且该第一参考图像中对应区域或者相关区域没有被更新过,确定该第二参考图像中的局部区域用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不用于更新该第一参考图像中对应区域或者相关区域。
结合第六方面,在第六方面的第十六种可能的实现方式中,该参考图像更新信息,包括:
该第二参考图像的局部区域的变换系数信息,其中,该变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和的平均值;
对应,所述第四编码模块具体用于:将该变换系数信息编入码流,当该局部区域覆盖范围内的变换系数绝对值之和的平均值大于第十阈值,且该第一参考图像中对应区域或者相关区域没有被更新过,确定该第二参考图像中的局部区域用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不用于更新该第一参考图像中对应区域或者相关区域。
结合第六方面,在第六方面的第十七种可能的实现方式中,该参考图像更新信息,包括:
该第二参考图像的局部区域的运动矢量信息,其中,该运动矢量信息包括局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值;
对应,所述第四编码模块具体用于:将该运动矢量信息编入码流,当该局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值均小于第十一阈值,且该第一参考图像中对应区域或者相关区域没有被更新过,确定该第二参考图像中的局部区域用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不用于更新该第一参考图像中对应区域或者相关区域。
结合第六方面,在第六方面的第十八种可能的实现方式中,该参考图像更新信息,包括:
该第二参考图像中的局部区域运动矢量信息,其中,该运动矢量信息包括局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,和该第二参考图像前一已编码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值;
对应,所述第四编码模块具体用于:将该运动矢量信息编入码流,当该局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值小于该前一已编码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,且该第一参考图像中对应区域或者相关区域没有被更新过,确定该第二参考图像中的局部区域用于更新该第一参考图像中对应区域或者相关区域,否则,确定该第二参考图像中的局部区域不用于更新该第一参考图像中对应区域或者相关区域。
结合第六方面,在第六方面的第十九种可能的实现方式中,所述第一编码模块具体用于:
使用固定量化参数编码该第二参考图像的待编码图像,其中,对于该局部区域使用第一量化参数,对于非该局部区域使用第二量化参数。
结合第六方面的第十九种可能的实现方式,在第六方面的第二十种可能的实现方式中,该方法还包括:
当第二量化参数大于等于0,且小于10时,第一量化参数为第二量化参数;当第二量化参数大于等于10,且小于37时,第一量化参数为第二量化参数减5;当第二量化参数大于等于37,且小于等于51时,第一量化参数为第二量化参数减10。
结合第六方面,在第六方面的第二十一种可能的实现方式中,所述第一编码模块具体用于:
使用自适应量化参数编码该第二参考图像的待编码图像,其中,对于该局部区域根据纹理信息和运动信息至少其中之一确定量化参数,对于非该局部区域使用帧级量化参数或者根据编码器规定的码率分配策略或质量控制策略设置确定量化参数。
结合第六方面,第六方面的第一种至第二十一种可能的实现方式中任一可能的实现方式,在第六方面的第二十二种可能的实现方式中,还包括:该第一参考图像中对应区域为该第一参考图像中与该第二参考图像中的局部区域的坐标位置相同的区域。
结合第六方面,第六方面的第一种至第二十一种可能的实现方式中任一可能的实现方式,在第六方面的第二十三种可能的实现方式中,所述第二编码模块还具体用于:当所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域被更新过时,以预定顺序依次搜索所述第一参考图像中的区域,所述第二参考图像中对应区域为所述顺序中的第一块没有被更新过的区域,否则,该第一参考图像中对应区域为该第一参考图像中与该第二参考图像中的局部区域的坐标位置相同的区域。
结合第六方面,第六方面的第一种至第二十一种可能的实现方式中任一可能的实现方式,在第六方面的第二十四种可能的实现方式中,还包括:该参考图像更新信息还包括有该局部区域所在的坐标位置与该第一参考图像中相关区域所在的坐标位置之间的空间偏移量,该空间偏移量包括横向偏移量和纵向偏移量;对应,所述第二编码模块具体还用于:
将该空间偏移量编入码流。
结合第六方面,第六方面的第一种至第二十四种可能的实现方式中任一可能的实现方式,在第六方面的第二十五种可能的实现方式中,还包括第五编码模块,所述第五编码模块还具体用于:对像素替换后的第一参考图像中对应区域或者相关区域与相邻区域的边界处进行滤波。
结合第六方面,第六方面的第一种至第二十五种可能的实现方式中任一可能的实现方式,在第六方面的第二十六种可能的实现方式中,还包括:该第一参考图像为编码待编码序列获得的第一帧重构图像。
结合第六方面,第六方面的第一种至第二十五种可能的实现方式中任一可能的实现方式,在第六方面的第二十七种可能的实现方式中,还包括:该第一参考图像为编码待编码序列获得的随机访问点图像。
结合第六方面,第六方面的第一种至第二十七种可能的实现方式中任一可能的实现方式,在第六方面的第二十八种可能的实现方式中,包括:该第二参考图像的局部区域是最大编码单元、编码单元、编码单元组、预设大小的图像区域中的一种。
结合第六方面,在第六方面的第二十九种可能的实现方式中还包括第六模块,所述第六模块还具体用于:检测该待编码序列;判断该第一参考图像是否为场景切换图像;确定该第一参考图像特定顺序号;在编码该第一参考图像的待编码图像之前或之后,将该特定顺序号编入码流。
结合第六方面,在第六方面的第三十种可能的实现方式中,所述第一编码模块还具体用于:确定被该第二参考图像所更新的该第一参考图像的特定顺序号;在编码该第二参考图像的待编码图像之前或之后,将该特定顺序号或者与该特定顺序号关联的号码编入码流。
基于上述技术方案,本发明实施例的参考图像编码和解码的方法、编码设备和解码设备,利用在后编码的参考图像,局部更新背景参考图像,即第一参考图像,由此,在编解码过程中将背景参考图像的更新信息分布在后续的参考图像中传输,避免了在解码端分析重构图像的特征带来的复杂度增加,也避免了传输背景参考图像而带来的码流码率陡增而造成的传输时延。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的参考图像解码的方法的示意性流程图;
图2是根据本发明实施例的滤波的方法中竖直边界滤波的示意图;
图3是根据本发明实施例的滤波的方法中水平边界滤波的示意图;
图4是根据本发明实施例的参考图像解码的方法的另一示意性流程图;
图5是根据本发明实施例的搜索对应区域的方法中搜索顺序的示意图;
图6是根据本发明实施例的参考图像编码的方法的示意性流程图;
图7是根据本发明另一实施例的参考图像编码的方法的示意性流程图;
图8是根据本发明另一实施例的参考图像编码的方法的另一示意性流程图;
图9是根据本发明另一实施例的参考图像解码的方法的示意性流程图;
图10是根据本发明实施例的参考图像解码的装置的示意性框图;
图11是根据本发明实施例的参考图像解码的装置的另一示意性框图;
图12是根据本发明实施例的参考图像编码的装置的示意性框图;
图13是根据本发明另一实施例的参考图像编码的装置的示意性框图;
图14是根据本发明另一实施例的参考图像编码的装置的另一示意性框图;
图15是根据本发明另一实施例的参考图像解码的装置的示意性框图;
图16是根据本发明再一实施例的参考图像编码的装置的示意性框图;
图17是根据本发明再一实施例的参考图像解码的装置的示意性框图;
图18是根据本发明再一实施例的参考图像解码的装置的另一示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1示出了根据本发明实施例的参考图像解码的方法的示意性流程图。图1所示的方法可以由解码设备执行,例如解码器,具体地,如图1所示,方法1000包括:
S1100,解析码流,获得第一参考图像的重构图像以及第二参考图像的重构图像,所述第一参考图像先于所述第二参考图像被解码;
S1200,在所述解析码流获得第二参考图像的重构图像之前,或者所述解析码流获得第二参考图像的重构图像之中,或者所述解析码流获得第二参考图像的重构图像之后;解析码流,获得参考图像更新信息,并根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域,所述局部区域的尺寸小于或者等于所述第二参考图像的尺寸;
S1300,当所述参考图像更新信息确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域时,用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值。
具体而言,解码设备解析码流获得第一参考图像与第二参考图像,并且与编码端相对应的在解析码流获得第二参考图像的重构图像之前,之中或者之后,解析参考图像更新信息,根据更新信息确定第二参考图像的局部区域是否用于更新第一参考图像的对应区域或相关区域,如果确定第二参考图像的局部区域用于更新第一参考图像的对应区域或相关区域,用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值。本发明中所述的第二参考图像指在时域内位于第一参考图像之后的参考图像统称,所述第二参考图像的数量随不同的需求而变化,本发明在此不做限定。
因此,本发明实施例的参考图像解码的方法,解码设备通过后续参考图像的更新信息,通过像素拷贝的方式,局部地更新第一参考图像,由此,在使用第一参考图像提高压缩效率的同时,降低解码的复杂度,也避免了码率陡增带来的时延。
应理解,在本发明实施例中,所述第二参考图像的局部区域可以是最大编码单元(LCU)、编码单元(CU)、编码单元组(CU group)、预设大小的图像区域中的一种,本发明对此不作限定。
应理解,在本发明实施例中,第一参考图像是在第二参考图像之前解码的图像,作为它所在的视频段内后续图像的参考图像。第一参考图像可以是解析码流获得的第一帧重构图像,也可以是解析码流获得的随机访问点图像,本发明对此不作限定。
应理解,在本发明实施例中,在所述解析码流获得第二参考图像的重构图像之前,或者所述解析码流获得第二参考图像的重构图像之中,或者所述解析码流获得第二参考图像的重构图像之后;解析码流,获得参考图像更新信息,是指和编码端的编码方式相对应的,参考图象更新信息在码流中的位置可以在第二参考图像的编码信息之前,之间或者之后以及参考图象更新信息可以作为第二参考图像的编码信息的一部分存在于码流中,本发明对此不作限定。
步骤S1200中解析码流,获得参考图像更新信息,并根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域的实施方式,包括:
在第一种可行的实施方式中,确定参考图像更新信息,并根据参考图像更新信息确定第二参考图像中的局部区域是否用于更新第一参考图像中对应区域或者相关区域,包括:
解析所述码流,获取标记,若所述标记为第一取值时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,若所述标记为第二取值时,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域,第一取值不同于第二取值。
优选地,具体实施方式为:从码流中读取当前待解码帧中各区域的参考图像更新标识,1表示该区域用于更新第一参考图像,0表示该区域不用于更新第一参考图像。
在第二种可行的实施方式中,确定参考图像更新信息,并根据参考图像更新信息确定第二参考图像中的局部区域是否用于更新第一参考图像中对应区域或者相关区域,包括:
解析所述码流,获取编码信息,根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域。
其中,所述编码信息包括所述第二参考图像中的局部区域的量化参数偏移值;对应,所述根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域包括:当所述量化参数偏移值的绝对值在第一取值范围内时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域;当所述量化参数偏移值的绝对值不在第一取值范围内时,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:从码流中读取当前待解码帧中各区域的量化参数偏移值(ΔQP),根据其绝对值所在范围判断区域是否用于更新第一参考图像;若10≤|ΔQP|<20,则用于更新第一参考图像;若0≤|ΔQP|<10,则不用于更新第一参考图像。
应理解,本发明实施例中对量化参数偏移值的取值给出了优选值,本发明对量化参数偏移值的取值不做限定。
在第三种可行的实施方式中,确定参考图像更新信息,并根据参考图像更新信息确定第二参考图像中的局部区域是否用于更新第一参考图像中对应区域或者相关区域,包括:
解析所述码流,获取编码信息,根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域。
所述编码信息包括所述第二参考图像中的局部区域的量化步长的缩放因子;对应,所述根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域包括:当所述量化步长的缩放因子在第二取值范围内时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域;当所述量化步长的缩放因子不在第二取值范围内时,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:读取码流中的缩放因子来判断所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域。
缩放因子F的计算公式如下(1),其取值范围值0.5~1.5:
区域的量化步长计算公式如(2):
当缩放因子F为1时,不用于更新第一参考图像,否则用于更新第一参考图像。
应理解,本发明实施例中对缩放因子的取值给出了优选值,本发明对缩放因子的取值不做限定。
步骤S1200中根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域,其中确定所述第一参考图像中对应区域或者相关区域的实施方式,包括:
在第一种可行的实施方式中,所述第一参考图像中对应区域为所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域。
在第二种可行的实施方式中,所述解析码流,所述获得参考图像更新信息,并根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域还包括:获得所述局部区域所在的坐标位置与所述第一参考图像中相关区域所在的坐标位置之间的空间偏移量,所述空间偏移量包括横向偏移量和纵向偏移量;在用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值之前,根据所述第二参考图像的局域区域的所在位置的坐标以及所述的空间偏移量确定所述第一参考图像相关区域的位置。。
优选地,具体实施方式为:对于用于更新所述第一参考图像中对应区域或者相关区域的区域,从码流中读取(cMVx,cMVy),根据(cMVx,cMVy)和区域所在位置(Curx,Cury)按照公式(3)获得其在第一参考图像中的更新位置。
Desx=Curx+cMVx,Desy=Cury+cMVy (3)
步骤S1300当所述参考图像更新信息确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域时,用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值之后,可选地,还包括:
S1400,对像素替换后的第一参考图像中对应区域或者相关区域与相邻区域的边界处进行滤波。
优选地,具体实施方式为:
第一步,对更新区域与其右边相邻区域的垂直边界附近像素点进行滤波处理,如图2,P代表更新区域,Q表示右边相邻区域,红色框内的像素点 pi,row和qi,row,i=0,1,2分别表示P和Q中的每一行距离垂直边界最近的3个像素点,即待滤波的像素点,利用公式(4)计算获得待滤波像素点的值,公式中省略了像素点下标中的行坐标row;
p'0=(p2+2p1+2p0+2q0+q1+4)/8
p′1=(p2+p1+p0+q0+2)/4
p'2=(2p3+3p2+p1+p0+q0+4)/8
q'0=(q2+2q1+2q0+2p0+p1+4)/8
q′1=(q2+q1+q0+p0+2)/4 (4)
q'2=(2q3+3q2+q1+q0+p0+4)/8
第二步,对更新区域与其左边相邻区域的垂直边界附近像素点进行滤波处理,处理方法与第一步相同;
第三步,对更新区域与其上边相邻区域的水平边界附近像素点进行滤波处理,如图3,P代表更新区域,Q表示上边相邻区域,红色框内的像素点 pcol,j和qcol,j,j=0,1,2分别表示P和Q中的每一列距离水平边界最近的3个像素点,即待滤波的像素点,利用公式(4)计算获得待滤波像素点的值,公式中省略了像素点下标中的列坐标col;
第四步,对更新区域与其下边相邻区域的水平边界附近像素点进行滤波处理,处理方法与第一步相同。
图4示出了根据本发明实施例的参考图像解码的方法的示意性流程图。图4所示的方法可以由解码设备执行,例如解码器,具体地,如图4所示,方法2000包括:
S2100,解析码流,获得第一参考图像的重构图像以及第二参考图像的重构图像,所述第一参考图像先于所述第二参考图像被解码;
S2200,在所述解析码流获得第二参考图像的重构图像之前,或者所述解析码流获得第二参考图像的重构图像之中,或者所述解析码流获得第二参考图像的重构图像之后;解析码流,获得参考图像更新信息,并根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域,所述局部区域的尺寸小于或者等于所述第二参考图像的尺寸;
S2300,确定所述第一参考图像中对应区域或者相关区域是否已更新;当所述第一参考图像中对应区域或者相关区域未更新,且所述参考图像更新信息确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域时,用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值。
具体而言,解码设备解析码流获得第一参考图像与第二参考图像,并且与编码端相对应的在解析码流获得第二参考图像的重构图像之前,之中或者之后,解析参考图像更新信息,根据更新信息确定第二参考图像的局部区域是否用于更新第一参考图像的对应区域或相关区域,如果确定第二参考图像的局部区域用于更新第一参考图像的对应区域或相关区域,用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值。
因此,本发明实施例的参考图像解码的方法,解码设备通过后续参考图像的更新信息,通过像素拷贝的方式,局部地更新第一参考图像,由此,在使用第一参考图像提高压缩效率的同时,降低解码的复杂度,也避免了码率陡增带来的时延。
应理解,在本发明实施例中,所述第二参考图像的局部区域可以是最大编码单元(LCU)、编码单元(CU)、编码单元组(CU group)、预设大小的图像区域中的一种,本发明对此不作限定。
应理解,在本发明实施例中,第一参考图像是在第二参考图像之前解码的图像,作为它所在的视频段内后续图像的参考图像。第一参考图像可以是解析码流获得的第一帧重构图像,也可以是解析码流获得的随机访问点图像,本发明对此不作限定。
应理解,在本发明实施例中,在所述解析码流获得第二参考图像的重构图像之前,或者所述解析码流获得第二参考图像的重构图像之中,或者所述解析码流获得第二参考图像的重构图像之后;解析码流,获得参考图像更新信息,是指和编码端的编码方式相对应的,参考图象更新信息在码流中的位置可以在第二参考图像的编码信息之前,之间或者之后以及参考图象更新信息可以作为第二参考图像的编码信息的一部分存在于码流中,本发明对此不作限定。
步骤S2200中解析码流,获得参考图像更新信息,并根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域的实施方式,包括:
在第一种可行的实施方式中,确定参考图像更新信息,并根据参考图像更新信息确定第二参考图像中的局部区域是否适用于更新第一参考图像中对应区域或者相关区域,包括:
解析所述码流,获取标记,若所述标记为第一取值时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,若所述标记为第二取值时,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域,第一取值不同于第二取值。
优选地,具体实施方式为:从码流中读取当前待解码帧中各区域的参考图像更新标识,1表示该区域适用于更新第一参考图像,0表示该区域不适用于更新第一参考图像。
在第二种可行的实施方式中,确定参考图像更新信息,并根据参考图像更新信息确定第二参考图像中的局部区域是否适用于更新第一参考图像中对应区域或者相关区域,包括:
解析所述码流,获取编码信息,根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域。
其中,所述编码信息包括所述第二参考图像中的局部区域的变换系数信息,其中,所述变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和;对应,所述根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域包括:
当所述局部区域覆盖范围内的变换系数绝对值之和大于第一阈值,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:从码流中读取当前帧中各区域的量化后的变换系数;获得满足如下条件(5)的区域;
Σ|Coefi|>Threshold1 (5)
满足条件(5),则确定所述区域适用于更新第一参考图像,否则确定所述区域不适用于更新第一参考图像。
在第三种可行的实施方式中,确定参考图像更新信息,并根据参考图像更新信息确定第二参考图像中的局部区域是否适用于更新第一参考图像中对应区域或者相关区域,包括:
解析所述码流,获取编码信息,根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域。
其中,所述编码信息包括所述第二参考图像中的局部区域的变换系数信息,其中,所述变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和的平均值;对应,所述根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像包括:
当所述局部区域范围内的变换系数绝对值之和的平均值大于第二阈值,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:从码流中读取当前帧中各区域的量化后的变换系数;获得满足如下条件(6)的区域,其中numBlock表示当前帧包含的区域的个数;
满足条件(6),则确定所述区域适用于更新第一参考图像,否则确定所述区域不适用于更新第一参考图像。
在第四种可行的实施方式中,确定参考图像更新信息,并根据参考图像更新信息确定第二参考图像中的局部区域是否适用于更新第一参考图像中对应区域或者相关区域,包括:
解析所述码流,获取编码信息,根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域。
其中,所述编码信息包括所述第二参考图像中的局部区域的量化参数偏移值;对应,所述根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域包括:当所述量化参数偏移值的绝对值在第一取值范围内时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域;当所述量化参数偏移值的绝对值不在第一取值范围内时,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:从码流中读取当前待解码帧中各区域的量化参数偏移值(ΔQP),根据其绝对值所在范围判断区域是否适用于更新第一参考图像;若10≤|ΔQP|<20,则适用于更新第一参考图像;若0≤|ΔQP|<10,则不适用于更新第一参考图像。
应理解,本发明实施例中对量化参数偏移值的取值给出了优选值,本发明对量化参数偏移值的取值不做限定。
在第五种可行的实施方式中,确定参考图像更新信息,并根据参考图像更新信息确定第二参考图像中的局部区域是否适用于更新第一参考图像中对应区域或者相关区域,包括:
解析所述码流,获取编码信息,根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域。
所述编码信息包括所述第二参考图像中的局部区域的量化步长的缩放因子;对应,所述根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域包括:当所述量化步长的缩放因子在第二取值范围内时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域;当所述量化步长的缩放因子不在第二取值范围内时,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:读取码流中的缩放因子来判断所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域。
缩放因子F的计算公式如下(7),其取值范围值0.5~1.5:
区域的量化步长计算公式如(8):
当缩放因子F为1时,不适用于更新第一参考图像,否则适用于更新第一参考图像。
应理解,本发明实施例中对缩放因子的取值给出了优选值,本发明对缩放因子的取值不做限定。
在第六种可行的实施方式中,确定参考图像更新信息,并根据参考图像更新信息确定第二参考图像中的局部区域是否适用于更新第一参考图像中对应区域或者相关区域,包括:
解析所述码流,获取编码信息,根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域。
其中,所述编码信息包括所述第二参考图像中的局部区域的运动矢量信息,其中,所述运动矢量信息包括局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值;对应,所述根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像包括:
当所述局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值均小于第三阈值,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:获得满足如下条件(9)的区域;
公式(9)中,M表示当前区域中包含的编码块的个数;MVx和MVy分别表示每个编码块的横向运动矢量和纵向运动矢量;计算当前区域中所有编码块的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值;将两个平均值分别与阈值Threshold3进行比较;满足条件(9),则确定所述区域适用于更新第一参考图像,否则确定所述区域不适用于更新第一参考图像。
在第七种可行的实施方式中,确定参考图像更新信息,并根据参考图像更新信息确定第二参考图像中的局部区域是否适用于更新第一参考图像中对应区域或者相关区域,包括:
解析所述码流,获取编码信息,根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域。
其中,所述运动矢量信息包括局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,和所述第二参考图像前一已解码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值;对应,所述根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像包括:
当所述局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值小于所述前一已解码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:获得满足如下条件(10)的区域;
公式(10)中,M表示当前区域中包含的编码块的个数;N表示前一个已编码帧/解码帧中包含的编码块的个数;MVx和MVy分别表示每个编码块的横向运动矢量和纵向运动矢量;满足条件(10),则确定所述区域适用于更新第一参考图像,否则确定所述区域不适用于更新第一参考图像。需注意的是,所述的前一已解码帧指的是所述在时域内位于所述第二参考图像之前相邻的一个已解码帧或者包括所述相邻的已解码帧的多个连续的已解码帧。
步骤S2200中根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域,其中确定所述第一参考图像中对应区域或者相关区域的实施方式,包括:
在第一种可行的实施方式中,所述第一参考图像中对应区域为所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域。
在第二种可行的实施方式中,当所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域被更新过时,以预定顺序依次搜索所述第一参考图像中的区域,所述第一参考图像中对应区域为所述顺序中的第一块没有被更新过的区域,否则,所述第一参考图像中对应区域为所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域。
优选地,具体实施方式为判断第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域是否被更新过;若没有被更新,则第一参考图像中对应区域为所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域;否则,则在该位置邻近区域内按照预定的搜索步骤搜索未被更新的区域位置,则第一参考图像中对应区域为所述未被更新的区域位置。
优选地,预定的搜索步骤的具体实施方式为如图5所示,中心区域0表示当前位置区域,首先按从1到8的顺序搜索最靠近当前位置区域的一圈区域,然后按从1到16的顺序搜索次靠近当前位置区域的一圈区域,以此向外延展,直到找到未被更新过的区域为止。
在第三种可行的实施方式中,
所述解析码流,所述获得参考图像更新信息,并根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域还包括:获得所述局部区域所在的坐标位置与所述第一参考图像中相关区域所在的坐标位置之间的空间偏移量,所述空间偏移量包括横向偏移量和纵向偏移量;在用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值之前,根据所述第二参考图像的局域区域的所在位置的坐标以及所述的空间偏移量确定所述第一参考图像相关区域的位置。
优选地,具体实施方式为:对于用于更新所述第一参考图像中对应区域或者相关区域的区域,从码流中读取(cMVx,cMVy),根据(cMVx,cMVy)和区域所在位置(Curx,Cury)按照公式(11)获得其在第一参考图像中的更新位置。
Desx=Curx+cMVx,Desy=Cury+cMV1 (11)
步骤S2300当所述参考图像更新信息确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域时,用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值之后,可选地,还包括:
S2400,对像素替换后的第一参考图像中对应区域或者相关区域与相邻区域的边界处进行滤波。
优选地,具体实施方式同S1400相同。
为了更好的证明本发明实施例相对比现有技术的有益效果,测试了采用本发明实施例的方法和现有技术中的方法进行编码时的编码性能进行了对比,结果如表1所示:
表1仿真结果
通过表1可以看写出,采用本发明实施例的参考图像编码的方法,在没有增加解码端复杂度,没有传输整帧参考图像的情况下,比现有技术依然能够节省约8%的码率。
因此,本发明实施例的参考图像解码的方法,解码设备通过后续参考图像的更新信息,通过像素拷贝的方式,局部地更新第一参考图像,由此,在使用第一参考图像提高压缩效率的同时,降低解码的复杂度,也避免了码率陡增带来的时延。
图6示出了根据本发明实施例的参考图像编码的方法的示意性流程图。应注意,编码端的有关操作本质上与解码端的一致,为了避免重复,在此不再赘述。图6所示的方法可以由编码设备执行,例如编码器,具体地,如图 6所示,方法3000包括:
S3100,编码待编码序列,获得第一参考图像的重构图像,编码第二参考图像以获得所述第二参考图像的重构图像,所述第一参考图像先于所述第二参考图像被编码;
S3200,确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域,所述局部区域的尺寸小于或者等于所述第二参考图像的尺寸;
S3300,确定所述第一参考图像中对应区域或者相关区域是否已更新;当所述第一参考图像中对应区域或者相关区域未更新,且确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域时,用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值;
S3400,将用来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流。
具体而言,编码设备编码待编码序列,获得第一参考图像的重构图像,编码第二参考图像以获得所述第二参考图像的重构图像,确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域;确定所述第一参考图像中对应区域或者相关区域是否已更新;当所述第一参考图像中对应区域或者相关区域未更新,且确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域时,用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值;将用来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流。
因此,本发明实施例的参考图像编码的方法,编码设备通过后续参考图像的更新信息,通过像素拷贝的方式,局部地更新第一参考图像,由此,在使用第一参考图像提高压缩效率的同时,降低解码的复杂度,也避免了码率陡增带来的时延。
应理解,在本发明实施例中,所述第二参考图像的局部区域可以是最大编码单元(LCU)、编码单元(CU)、编码单元组(CU group)、预设大小的图像区域的一种,本发明对此不作限定。
应理解,在本发明实施例中,第一参考图像是在第二参考图像之前编码的图像,作为它所在的视频段内后续图像的参考图像。第一参考图像可以是编码待编码序列获得的第一帧重构图像,也可以是编码待编码序列获得的随机访问点图像,本发明对此不作限定。
应理解,在本发明实施例中,将用来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流,是指参考图象更新信息被编入码流的位置可以在第二参考图像的编码信息之前,之间或者之后以及参考图象更新信息可以作为第二参考图像的编码信息的一部分存在于码流中,本发明对此不作限定。
步骤S3200确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域的实施方式,包括:
在第一种可行的实施方式中,包括:
获取所述第二参考图像的待编码图像与所述局部区域具有相同坐标位置的第一区域,以及所述第二参考图像前一帧的待编码图像与所述局部区域具有相同坐标位置的第二区域;
计算所述第一区域与所述第二区域中的所有像素点的均方误差值;
当所述均方误差值小于第四阈值时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:
第一步,获得当前待编码帧Fi,即第二参考图像,和前一帧Fi-1的原始图像;
第二步,对于当前待编码帧中每个区域,计算其与前一帧中相同位置的区域中所有像素点原始像素值的均方误差(Mean Square Error,MSE);
第三步,获得满足如下条件(12)的区域,其中Threshold1为预设阈值, Flagupdated为参考帧cRefi-1,即第一参考图像,中各区域是否已经被更新过的标识,1表示已被更新,0标识未被更新,cRefi-1为使用当前待编码帧Fi之前的已编码帧的重建像素值局部更新后的参考帧;
满足条件(12)的区域,为适用于更新所述第一参考图像中对应区域或者相关区域;否则,为不适用于更新所述第一参考图像中对应区域或者相关区域。
在第二种可行的实施方式中,包括:
获取所述局部区域的待编码图像进行帧间预测,获得所述局部区域的预测图像;
计算所述局部区域的待编码图像与所述局部区域的预测图像的所有像素点的横轴预测差绝对值和纵轴预测差绝对值之后的平均值;
当所述平均值小于第五阈值时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:
第一步,对当前待编码帧Fi,即第二参考图像,进行预测,Fi可使用cRefi-1,即第一参考图像,作为其参考帧进行帧间预测,也可使用其他短期参考帧进行帧间预测,cRefi-1为使用Fi之前已编码帧的重建像素值局部更新后的参考帧,即第一参考图像;获得Fi中各像素点的预测值(Px,Py)与原始像素值(Ox,Oy) 之间的差值,即预测误差;
第二步,获得满足如下条件(13)的区域:
公式(13)中,N为区域中像素点的个数,计算区域中所有像素点预测误差的平均值,并与阈值Threshold5进行比较。满足条件(13)的区域,为适用于更新所述第一参考图像中对应区域或者相关区域;否则,为不适用于更新所述第一参考图像中对应区域或者相关区域。
在第三种可行的实施方式中,包括:
获取所述第二参考图像中的局部区域的变换系数信息,其中,所述变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和;
当所述局部区域覆盖范围内的变换系数绝对值之和大于第六阈值时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:
第一步,对当前待编码帧Fi,即第二参考图像,进行预测编码,Fi可使用cRefi-1,即第一参考图像,作为其参考帧进行帧间预测,也可使用其他短期参考帧进行帧间预测,cRefi-1为使用Fi之前已编码帧的重建像素值局部更新后的参考帧;
第二步,获得当前帧中各区域的编码信息和量化后的变换系数,对其进行熵编码并写入码流,编码信息包括区域中各编码块的编码模式等;
第三步,获得满足如下条件(14)的区域;
Σ|Coefi|>Threshold6 (14)
满足条件(14)的区域,为适用于更新所述第一参考图像中对应区域或者相关区域;否则,为不适用于更新所述第一参考图像中对应区域或者相关区域。
在第四种可行的实施方式中,包括:
获取所述第二参考图像中的局部区域的变换系数信息,其中,所述变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和的平均值;
当所述局部区域覆盖范围内的变换系数绝对值之和的平均值大于第七阈值时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:
第一步,对当前待编码帧Fi,即第二参考图像,进行预测编码,Fi可使用cRefi-1,即第一参考图像,作为其参考帧进行帧间预测,也可使用其他短期参考帧进行帧间预测,cRefi-1为使用Fi之前已编码帧的重建像素值局部更新后的参考帧;
第二步,获得当前帧中各区域的编码信息和量化后的变换系数,对其进行熵编码并写入码流,编码信息包括区域中各编码块的编码模式等;
第三步,获得满足如下条件(15)的区域,其中numBlock表示当前帧包含的区域的个数;
满足条件(15)的区域,为适用于更新所述第一参考图像中对应区域或者相关区域;否则,为不适用于更新所述第一参考图像中对应区域或者相关区域。
在第五种可行的实施方式中,包括:
统计所述第二参考图像的局部区域的编码比特数和其前一个被编码区域的编码比特数;
当所述第二参考图像的局部区域的编码比特数大于其前一个被编码区域的编码比特数时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
在第六种可行的实施方式中,包括:
统计所述第二参考图像的局部区域的编码比特数和其前一被编码帧的区域平均编码比特数;
当所述第二参考图像的局部区域的编码比特数大于其前一被编码帧的区域平均编码比特数时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
在第七种可行的实施方式中,包括:
获取所述第二参考图像中的局部区域的运动矢量信息,其中,所述运动矢量信息包括局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值;
当所述局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值均小于第八阈值,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:
第一步,对当前待编码帧Fi,即第二参考图像,进行预测编码,Fi可使用cRefi-1,即第一参考图像,作为其参考帧进行帧间预测,也可使用其他短期参考帧进行帧间预测,cRefi-1为使用Fi之前已编码帧的重建像素值局部更新后的参考帧;
第二步,获得当前帧中各区域的编码信息和量化后的变换系数,对其进行熵编码并写入码流,编码信息包括区域中各编码块的编码模式等;
第三步,获得满足如下条件(16)的区域;
公式(16)中,M表示当前区域中包含的编码块的个数;MVx和MVy 分别表示每个编码块的横向运动矢量和纵向运动矢量;计算当前区域中所有编码块的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值;将两个平均值分别与阈值Threshold8进行比较;满足条件(16)的区域,为适用于更新所述第一参考图像中对应区域或者相关区域;否则,为不适用于更新所述第一参考图像中对应区域或者相关区域。
在第八种可行的实施方式中,包括:
获取所述第二参考图像中的局部区域运动矢量信息,其中,所述运动矢量信息包括局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,和所述第二参考图像前一已编码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值;
当所述局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值小于所述前一已编码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:
第一步,对当前待编码帧Fi,即第二参考图像,进行预测编码,Fi可使用cRefi-1,即第一参考图像,作为其参考帧进行帧间预测,也可使用其他短期参考帧进行帧间预测,cRefi-1为使用Fi之前已编码帧的重建像素值局部更新后的参考帧;
第二步,获得当前帧中各区域的编码信息和量化后的变换系数,对其进行熵编码并写入码流,编码信息包括区域中各编码块的编码模式等;
第三步,获得满足如下条件(17)的区域;
公式(17)中,M表示当前区域中包含的编码块的个数;N表示前一个已编码帧/解码帧中包含的编码块的个数;MVx和MVy分别表示每个编码块的横向运动矢量和纵向运动矢量;满足条件(17)的区域,为适用于更新所述第一参考图像中对应区域或者相关区域;否则,为不适用于更新所述第一参考图像中对应区域或者相关区域。
步骤S3400将用来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流,其中将参考图像更新信息编入码流的实施方式,包括:
在第一种可行的实施方式中,包括:
当所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,所述标记为第一取值;当所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域,所述标记为第二取值,第一取值不同于第二取值;
将所述标记的取值编入码流。
优选地,具体实施方式为:
当所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,将标记设置为1,并编入码流,否则,将标记设置为0,编入码流。
在第二种可行的实施方式中,包括:
当所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,所述量化参数偏移值在第三取值范围内;当所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域,所述量化参数偏移值不在第三取值范围内;
将所述量化参数偏移值编入码流。
优选地,具体实施方式为:
若当前区域为用于更新所述第一参考图像中对应区域或者相关区域的局部区域,则根据此区域的纹理特性设置其QP(QParea)与帧级QP(QPSlice) 之间差值ΔQP,本实施例用区域中像素点亮度值的方差作为衡量其纹理特性的方法;如公式(18),利用更新区域像素点亮度值的方差与当前待编码帧中所有区域中像素点亮度值的方差的平均值的比值计算获得ΔQP,其中 10≤|ΔQP|<20;公式中,xi,n表示标号为n的区域中像素点i的亮度值,表示标号为n的区域中所有像素点亮度的平均值,N表示当前帧中区域的数量;
可以理解,本实施例使用方差作为衡量纹理特性的方法,也可使用其他方法衡量;同时也可根据除纹理特性之外的其他特性,例如运动特性来设置ΔQP。
量化参数偏移值ΔQP作为编码信息编入码流。
应理解,本发明实施例中对量化参数偏移量的取值给出了优选值,本发明对量化参数的取值不做限定。
在第三种可行的实施方式中,包括:
当所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,所述量化步长的缩放因子在第四取值范围内;当所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域,所述量化步长的缩放因子不在第四取值范围内;
将所述量化步长的缩放因子编入码流。
优选地,具体实施方式为:
当所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,编码端自适应地调整量化步长(Quantization Step,Qstep),将量化步长的缩放因子进行编码传递到解码端,所述区域的量化步长的缩放因子F不等于1。
缩放因子F的计算公式如下(19),其取值范围值0.5~1.5:
区域的量化步长计算公式如(20):
量化步长的缩放因子F作为编码信息编入码流。
应理解,本发明实施例中对缩放因子的取值给出了优选值,本发明对缩放因子的取值不做限定。
在第四种可行的实施方式中,包括:
当所述局部区域覆盖范围内的变换系数绝对值之和大于第九阈值,且所述第一参考图像中对应区域或者相关区域没有被更新过,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域;
将所述变换系数信息编入码流。
优选地,具体实施方式与解码端相对应不再重复,变换系数信息作为编码信息编入码流。
在第五种可行的实施方式中,包括:
当所述局部区域覆盖范围内的变换系数绝对值之和的平均值大于第十阈值,且所述第一参考图像中对应区域或者相关区域没有被更新过,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域;
将所述变换系数信息编入码流。
优选地,具体实施方式与解码端相对应不再重复,变换系数信息作为编码信息编入码流。
在第六种可行的实施方式中,包括:
当所述局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值均小于第十一阈值,且所述第一参考图像中对应区域或者相关区域没有被更新过,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域;
将所述运动矢量信息编入码流。
优选地,具体实施方式与解码端相对应不再重复,运动矢量信息作为编码信息编入码流。
在第七种可行的实施方式中,包括:
当所述局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值小于所述前一已编码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,且所述第一参考图像中对应区域或者相关区域没有被更新过,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域;
将所述运动矢量信息编入码流。
优选地,具体实施方式与解码端相对应不再重复,运动矢量信息作为编码信息编入码流。
步骤S3100在所述编码待编码序列获得第二参考图像的重构图像的实施方式,包括:
在第一种可行的实施方式中,包括:使用固定量化参数编码所述第二参考图像的待编码图像,其中,对于所述局部区域使用第一量化参数,对于非所述局部区域使用第二量化参数。
优选地,具体实施方式为:
使用如下公式(21)计算得到的量化参数(Quantization Parameter,QP)对变换后的变换系数进行量化,其中QPSlice为帧级QP,更新区域为所述局部区域,非更新区域为其他区域,表2为QPSlice与ΔQP的取值对应关系。
表2ΔQP取值表
QPSlice取值范围 0~10 10~37 37~51
ΔQP 0 5 10
使用帧级QP-ΔQP作为所述局部区域的量化参数,使用帧级QP作为其他区域的量化参数。
应理解,本发明实施例中对量化参数的取值给出了优选值,本发明对量化参数的取值不做限定。
在第二种可行的实施方式中,包括:使用自适应量化参数编码所述第二参考图像的待编码图像,其中,对于所述局部区域根据纹理信息和运动信息至少其中之一确定量化参数,对于非所述局部区域使用帧级量化参数或者根据编码器规定的码率分配策略或质量控制策略设置确定量化参数。
优选地,具体实施方式为:
若当前区域为不是所述局部区域,则设置其QP(QParea)为帧级QP,也可以根据编码器规定的码率分配策略或质量控制策略设置其ΔQP;ΔQP绝对值的取值范围如公式(22),更新区域为所述局部区域,非更新区域为其他区域:
使用公式(22)中的量化参数作为第二参考图像各个区域的量化参数。
应理解,本发明实施例中对量化参数的取值给出了优选值,本发明对量化参数的取值不做限定。
步骤S3200中确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域,其中确定所述第一参考图像中对应区域或者相关区域的实施方式,包括:
在第一种可行的实施方式中,所述第一参考图像中对应区域为所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域。
在第二种可行的实施方式中,当所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域被更新过时,以预定顺序依次搜索所述第一参考图像中的区域,所述第一参考图像中对应区域为所述顺序中的第一块没有被更新过的区域,否则,所述第一参考图像中对应区域为所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域。
优选地,具体实施方式与解码端相对应不再重复。
在第三种可行的实施方式中,所述参考图像更新信息还包括有所述局部区域所在的坐标位置与所述第一参考图像中相关区域所在的坐标位置之间的空间偏移量,所述空间偏移量包括横向偏移量和纵向偏移量;根据所述第二参考图像的局域区域的所在位置的坐标以及所述的空间偏移量确定所述第一参考图像相关区域的位置。该实施方式也可以表述为,所述解析码流,所述获得参考图像更新信息,并根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域还包括:获得所述局部区域所在的坐标位置与所述第一参考图像中相关区域所在的坐标位置之间的空间偏移量,所述空间偏移量包括横向偏移量和纵向偏移量;并在用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值之前,根据所述第二参考图像的局域区域的所在位置的坐标以及所述的空间偏移量确定所述第一参考图像相关区域的位置。
优选地,具体实施方式与解码端相对应不再重复。
步骤S3400在将用来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流之后,可选地,还包括:
S3500,对像素替换后的第一参考图像中对应区域或者相关区域与相邻区域的边界处进行滤波。
优选地,具体实施方式同S1400相同。
因此,本发明实施例的参考图像编码的方法,编码设备通过后续参考图像的更新信息,通过像素拷贝的方式,局部地更新第一参考图像,由此,在使用第一参考图像提高压缩效率的同时,降低解码的复杂度,也避免了码率陡增带来的时延。
图7示出了根据本发明实施例的参考图像编码的方法的示意性流程图。图7所示的方法可以由编码设备执行,例如编码器,具体地,如图7所示,方法4000包括:
S4100,检测所述待编码序列;
S4200,判断当前待编码图像是否为场景切换图像;
S4300,编码当前待编码图像,在编码所述待编码图像的重构图像之前或之后,将所述特定顺序号编入码流。
优选地,如图8所示,S4300包括:
S4301,确定当前待编码图像的特定顺序号,其中,当当前待编码图像是场景切换图像时,顺序赋予当前待编码图像顺序号,否则,将当前待编码图像更新范围内的场景切换图像的顺序号的相同或关联顺序号赋予当前待编码图像;
S4302,按照方法3000所述的方法编码当前待编码图像;
S4303,当当前待编码图像不是场景切换图像时,按照方法3000所述的方法更新当前待编码图像所对应的场景切换图像所对应的参考图像;
S4304,在编码所述待编码图像的重构图像之前或之后,将所述特定顺序号编入码流。
可以理解,场景切换图像是指方法3000中的第一参考图像所对应的待编码图像,还可以是和同一视频段内的其他视频帧具有参考关系的第一帧,随机接入图像等,本发明不作限定。
可以理解,在待编码序列中,可以有一个或者多个场景切换图像或者随机接入图像,本发明不作限定。
图9示出了根据本发明实施例的参考图像解码的方法的示意性流程图。图9所示的方法可以由解码设备执行,例如解码器,具体地,如图9所示,方法5000包括:
S5100,判断当前待解码图像是否为场景切换图像;
S5200,与编码端相对应的,在解码所述待解码图像的重构图像之前或之后,解析码流,获得当前待解码帧的特定顺序号;
S5300,解析码流,获得待解码图像的重构图像;
S5400,当当前待解码图像不为场景切换图像时,根据所述特定顺序号确定对应的场景切换图像;
S5500,当当前待解码图像不为场景切换图像时,按照1000或2000的方法,更新所述特定顺序号确定对应的场景切换图像所对应的参考图像。
可以理解,场景切换图像是指方法1000中的第一参考图像所对应的待解码图像或者方法2000中的第一参考图像所对应的待解码图像,还可以是和同一视频段内的其他视频帧具有参考关系的第一帧,随机接入图像等,本发明不作限定。
可以理解,在待解码序列中,可以有一个或者多个场景切换图像或者随机接入图像,本发明不作限定。
图10示出了根据本发明实施例的参考图像解码的装置的示意性框图。如图10所示,解码设备10包括:
第一解码模块11,用于解析码流,获得第一参考图像的重构图像以及第二参考图像的重构图像,所述第一参考图像先于所述第二参考图像被解码;
第二解码模块12,用于在所述解析码流获得第二参考图像的重构图像之前,或者所述解析码流获得第二参考图像的重构图像之中,或者所述解析码流获得第二参考图像的重构图像之后;解析码流,获得参考图像更新信息,并根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域,所述局部区域的尺寸小于或者等于所述第二参考图像的尺寸;
第三解码模块13,用于当所述参考图像更新信息确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域时,用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值。
具体而言,解码设备解析码流获得第一参考图像与第二参考图像,并且与编码端相对应的在解析码流获得第二参考图像的重构图像之前,之中或者之后,解析参考图像更新信息,根据更新信息确定第二参考图像的局部区域是否用于更新第一参考图像的对应区域或相关区域,如果确定第二参考图像的局部区域用于更新第一参考图像的对应区域或相关区域,用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值。
因此,本发明实施例的参考图像解码的方法,解码设备通过后续参考图像的更新信息,通过像素拷贝的方式,局部地更新第一参考图像,由此,在使用第一参考图像提高压缩效率的同时,降低解码的复杂度,也避免了码率陡增带来的时延。
应理解,在本发明实施例中,所述第二参考图像的局部区域可以是最大编码单元(LCU)、编码单元(CU)、编码单元组(CU group)、预设大小的图像区域中的一种,本发明对此不作限定。
应理解,在本发明实施例中,第一参考图像是在第二参考图像之前解码的图像,作为它所在的视频段内后续图像的参考图像。第一参考图像可以是解析码流获得的第一帧重构图像,也可以是解析码流获得的随机访问点图像,本发明对此不作限定。
应理解,在本发明实施例中,在所述解析码流获得第二参考图像的重构图像之前,或者所述解析码流获得第二参考图像的重构图像之中,或者所述解析码流获得第二参考图像的重构图像之后;解析码流,获得参考图像更新信息,是指和编码端的编码方式相对应的,参考图象更新信息在码流中的位置可以在第二参考图像的编码信息之前,之间或者之后以及参考图象更新信息可以作为第二参考图像的编码信息的一部分存在于码流中,本发明对此不作限定。
所述第二解码模块12用于解析码流,获得参考图像更新信息,并根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域的实施方式,包括:
在第一种可行的实施方式中,所述第二解码模块具体用于:
解析所述码流,获取标记,若所述标记为第一取值时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,若所述标记为第二取值时,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域,第一取值不同于第二取值。
优选地,具体实施方式为:从码流中读取当前待解码帧中各区域的参考图像更新标识,1表示该区域用于更新第一参考图像,0表示该区域不用于更新第一参考图像。
在第二种可行的实施方式中,所述第二解码模块具体用于:
解析所述码流,获取编码信息,根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域。
其中,所述编码信息包括所述第二参考图像中的局部区域的量化参数偏移值;对应,所述第二解码模块具体用于:当所述量化参数偏移值的绝对值在第一取值范围内时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域;当所述量化参数偏移值的绝对值不在第一取值范围内时,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:从码流中读取当前待解码帧中各区域的量化参数偏移值(ΔQP),根据其绝对值所在范围判断区域是否用于更新第一参考图像;若10≤|ΔQP|<20,则用于更新第一参考图像;若0≤|ΔQP|<10,则不用于更新第一参考图像。
应理解,本发明实施例中对量化参数偏移值的取值给出了优选值,本发明对量化参数偏移值的取值不做限定。
在第三种可行的实施方式中,所述第二解码模块具体用于:
解析所述码流,获取编码信息,根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域。
所述编码信息包括所述第二参考图像中的局部区域的量化步长的缩放因子;对应,所述第二解码模块具体用于:当所述量化步长的缩放因子在第二取值范围内时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域;当所述量化步长的缩放因子不在第二取值范围内时,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:读取码流中的缩放因子来判断所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域。
缩放因子F的计算公式如下(23),其取值范围值0.5~1.5:
区域的量化步长计算公式如(24):
当缩放因子F为1时,不用于更新第一参考图像,否则用于更新第一参考图像。
应理解,本发明实施例中对缩放因子的取值给出了优选值,本发明对缩放因子的取值不做限定。
所述第二解码模块12用于根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域,其中确定所述第一参考图像中对应区域或者相关区域的实施方式,包括:
在第一种可行的实施方式中,所述第一参考图像中对应区域为所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域。
在第二种可行的实施方式中,所述第二解码模块还具体用于:获得所述局部区域所在的坐标位置与所述第一参考图像中相关区域所在的坐标位置之间的空间偏移量,所述空间偏移量包括横向偏移量和纵向偏移量,并在所述第三解码模块用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值之前,根据所述第二参考图像的局域区域的所在位置的坐标以及所述的空间偏移量确定所述第一参考图像相关区域的位置。
优选地,具体实施方式为:对于用于更新所述第一参考图像中对应区域或者相关区域的区域,从码流中读取(cMVx,cMVy),根据(cMVx,cMVy)和区域所在位置(Curx,Cury)按照公式(25)获得其在第一参考图像中的更新位置。
Desx=Curx+cMVx,Desy=Cury+cMVy (25)
所述第三解码模块13用于当所述参考图像更新信息确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域时,用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值之后,可选地,还包括第四解码模块14,用于对像素替换后的第一参考图像中对应区域或者相关区域与相邻区域的边界处进行滤波。
优选地,具体实施方式为:
第一步,对更新区域与其右边相邻区域的垂直边界附近像素点进行滤波处理,如图2,P代表更新区域,Q表示右边相邻区域,红色框内的像素点 pi,row和qi,row,i=0,1,2分别表示P和Q中的每一行距离垂直边界最近的3个像素点,即待滤波的像素点,利用公式(26)计算获得待滤波像素点的值,公式中省略了像素点下标中的行坐标row;
p'0=(p2+2p1+2p0+2q0+q1+4)/8
p′1=(p2+p1+p0+q0+2)/4
p'2=(2p3+3p2+p1+p0+q0+4)/8
q'0=(q2+2q1+2q0+2p0+p1+4)/8
q′1=(q2+q1+q0+p0+2)/4 (26)
q'2=(2q3+3q2+q1+q0+p0+4)/8
第二步,对更新区域与其左边相邻区域的垂直边界附近像素点进行滤波处理,处理方法与第一步相同;
第三步,对更新区域与其上边相邻区域的水平边界附近像素点进行滤波处理,如图3,P代表更新区域,Q表示上边相邻区域,红色框内的像素点 pcol,j和qcol,j,j=0,1,2分别表示P和Q中的每一列距离水平边界最近的3个像素点,即待滤波的像素点,利用公式(26)计算获得待滤波像素点的值,公式中省略了像素点下标中的列坐标col;
第四步,对更新区域与其下边相邻区域的水平边界附近像素点进行滤波处理,处理方法与第一步相同。
图11示出了根据本发明实施例的参考图像解码的装置的示意性框图。如图11所示,解码设备20包括:
第一解码模块21,用于解析码流,获得第一参考图像的重构图像以及第二参考图像的重构图像,所述第一参考图像先于所述第二参考图像被解码;
第二解码模块22,用于在所述解析码流获得第二参考图像的重构图像之前,或者所述解析码流获得第二参考图像的重构图像之中,或者所述解析码流获得第二参考图像的重构图像之后;解析码流,获得参考图像更新信息,并根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域,所述局部区域的尺寸小于或者等于所述第二参考图像的尺寸;
第三解码模块23,用于确定所述第一参考图像中对应区域或者相关区域是否已更新;当所述第一参考图像中对应区域或者相关区域未更新,且所述参考图像更新信息确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域时,用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值。
具体而言,解码设备解析码流获得第一参考图像与第二参考图像,并且与编码端相对应的在解析码流获得第二参考图像的重构图像之前,之中或者之后,解析参考图像更新信息,根据更新信息确定第二参考图像的局部区域是否用于更新第一参考图像的对应区域或相关区域,如果确定第二参考图像的局部区域用于更新第一参考图像的对应区域或相关区域,用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值。
因此,本发明实施例的参考图像解码的方法,解码设备通过后续参考图像的更新信息,通过像素拷贝的方式,局部地更新第一参考图像,由此,在使用第一参考图像提高压缩效率的同时,降低解码的复杂度,也避免了码率陡增带来的时延。
应理解,在本发明实施例中,所述第二参考图像的局部区域可以是最大编码单元(LCU)、编码单元(CU)、编码单元组(CU group)、预设大小的图像区域中的一种,本发明对此不作限定。
应理解,在本发明实施例中,第一参考图像是在第二参考图像之前解码的图像,作为它所在的视频段内后续图像的参考图像。第一参考图像可以是解析码流获得的第一帧重构图像,也可以是解析码流获得的随机访问点图像,本发明对此不作限定。
应理解,在本发明实施例中,在所述解析码流获得第二参考图像的重构图像之前,或者所述解析码流获得第二参考图像的重构图像之中,或者所述解析码流获得第二参考图像的重构图像之后;解析码流,获得参考图像更新信息,是指和编码端的编码方式相对应的,参考图象更新信息在码流中的位置可以在第二参考图像的编码信息之前,之间或者之后以及参考图象更新信息可以作为第二参考图像的编码信息的一部分存在于码流中,本发明对此不作限定。
所述第二解码模块22用于解析码流,获得参考图像更新信息,并根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域的实施方式,包括:
在第一种可行的实施方式中,所述第二解码模块具体用于:
解析所述码流,获取标记,若所述标记为第一取值时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,若所述标记为第二取值时,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域,第一取值不同于第二取值。
优选地,具体实施方式为:从码流中读取当前待解码帧中各区域的参考图像更新标识,1表示该区域适用于更新第一参考图像,0表示该区域不适用于更新第一参考图像。
在第二种可行的实施方式中,所述第二解码模块具体用于:
解析所述码流,获取编码信息,根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域。
其中,所述编码信息包括所述第二参考图像中的局部区域的变换系数信息,其中,所述变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和;对应,所述第二解码模块具体用于:
当所述局部区域覆盖范围内的变换系数绝对值之和大于第一阈值,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:从码流中读取当前帧中各区域的量化后的变换系数;获得满足如下条件(27)的区域;
Σ|Coefi|>Threshold9 (27)
满足条件(27),则确定所述区域适用于更新第一参考图像,否则确定所述区域不适用于更新第一参考图像。
在第三种可行的实施方式中,所述第二解码模块具体用于:
解析所述码流,获取编码信息,根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域。
其中,所述编码信息包括所述第二参考图像中的局部区域的变换系数信息,其中,所述变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和的平均值;对应,所述第二解码模块具体用于:
当所述局部区域范围内的变换系数绝对值之和的平均值大于第二阈值,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:从码流中读取当前帧中各区域的量化后的变换系数;获得满足如下条件(28)的区域,其中numBlock表示当前帧包含的区域的个数;
满足条件(28),则确定所述区域适用于更新第一参考图像,否则确定所述区域不适用于更新第一参考图像。
在第四种可行的实施方式中,所述第二解码模块具体用于:
解析所述码流,获取编码信息,根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域。
其中,所述编码信息包括所述第二参考图像中的局部区域的量化参数偏移值;对应,所述第二解码模块具体用于:当所述量化参数偏移值的绝对值在第一取值范围内时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域;当所述量化参数偏移值的绝对值不在第一取值范围内时,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:从码流中读取当前待解码帧中各区域的量化参数偏移值(ΔQP),根据其绝对值所在范围判断区域是否适用于更新第一参考图像;若10≤|ΔQP|<20,则适用于更新第一参考图像;若0≤|ΔQP|<10,则不适用于更新第一参考图像。
应理解,本发明实施例中对量化参数偏移值的取值给出了优选值,本发明对量化参数偏移值的取值不做限定。
在第五种可行的实施方式中,所述第二解码模块具体用于:
解析所述码流,获取编码信息,根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域。
所述编码信息包括所述第二参考图像中的局部区域的量化步长的缩放因子;对应,所述第二解码模块具体用于:当所述量化步长的缩放因子在第二取值范围内时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域;当所述量化步长的缩放因子不在第二取值范围内时,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:读取码流中的缩放因子来判断所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域。
缩放因子F的计算公式如下(29),其取值范围值0.5~1.5:
区域的量化步长计算公式如(30):
当缩放因子F为1时,不适用于更新第一参考图像,否则适用于更新第一参考图像。
应理解,本发明实施例中对缩放因子的取值给出了优选值,本发明对缩放因子的取值不做限定。
在第六种可行的实施方式中,所述第二解码模块具体用于:
解析所述码流,获取编码信息,根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域。
其中,所述编码信息包括所述第二参考图像中的局部区域的运动矢量信息,其中,所述运动矢量信息包括局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值;对应,所述第二解码模块具体用于:
当所述局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值均小于第三阈值,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:获得满足如下条件(31)的区域;
公式(31)中,M表示当前区域中包含的编码块的个数;MVx和MVy 分别表示每个编码块的横向运动矢量和纵向运动矢量;计算当前区域中所有编码块的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值;将两个平均值分别与阈值Threshold11进行比较;满足条件(31),则确定所述区域适用于更新第一参考图像,否则确定所述区域不适用于更新第一参考图像。
在第七种可行的实施方式中,所述第二解码模块具体用于:
解析所述码流,获取编码信息,根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域。
其中,所述运动矢量信息包括局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,和所述第二参考图像前一已编码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值;对应,所述第二解码模块具体用于:
当所述局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值小于所述前一已编码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:获得满足如下条件(32)的区域;
公式(32)中,M表示当前区域中包含的编码块的个数;N表示前一个已编码帧/解码帧中包含的编码块的个数;MVx和MVy分别表示每个编码块的横向运动矢量和纵向运动矢量;满足条件(32),则确定所述区域适用于更新第一参考图像,否则确定所述区域不适用于更新第一参考图像。
所述第二解码模块22用于根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域,其中确定所述第一参考图像中对应区域或者相关区域的实施方式,包括:
在第一种可行的实施方式中,所述第一参考图像中对应区域为所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域。
在第二种可行的实施方式中,所述第二解码模块还具体用于:当所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域被更新过时,以预定顺序依次搜索所述第一参考图像中的区域,所述第一参考图像中对应区域为所述顺序中的第一块没有被更新过的区域,否则,所述第一参考图像中对应区域为所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域。
优选地,具体实施方式为判断第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域是否被更新过;若没有被更新,则第一参考图像中对应区域为所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域;否则,则在该位置邻近区域内按照预定的搜索步骤搜索未被更新的区域位置,则第一参考图像中对应区域为所述未被更新的区域位置。
优选地,预定的搜索步骤的具体实施方式为如图5所示,中心区域0表示当前位置区域,首先按从1到8的顺序搜索最靠近当前位置区域的一圈区域,然后按从1到16的顺序搜索次靠近当前位置区域的一圈区域,以此向外延展,直到找到未被更新过的区域为止。
在第三种可行的实施方式中,所述第二解码模块还具体用于:获得所述局部区域所在的坐标位置与所述第一参考图像中相关区域所在的坐标位置之间的空间偏移量,所述空间偏移量包括横向偏移量和纵向偏移量,并在所述第三解码模块用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值之前,根据所述第二参考图像的局域区域的所在位置的坐标以及所述的空间偏移量确定所述第一参考图像相关区域的位置。
优选地,具体实施方式为:对于用于更新所述第一参考图像中对应区域或者相关区域的区域,从码流中读取(cMVx,cMVy),根据(cMVx,cMVy)和区域所在位置(Curx,Cury)按照公式(33)获得其在第一参考图像中的更新位置。
Desx=Curx+cMVx,Desy=Cury+cMVy (33)
所述第三解码模块23,用于当所述参考图像更新信息确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域时,用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值之后,可选地,还包括第四解码模块24,用于对像素替换后的第一参考图像中对应区域或者相关区域与相邻区域的边界处进行滤波。
优选地,具体实施方式同第四解码模块14相同。
因此,本发明实施例的参考图像解码的方法,解码设备通过后续参考图像的更新信息,通过像素拷贝的方式,局部地更新第一参考图像,由此,在使用第一参考图像提高压缩效率的同时,降低解码的复杂度,也避免了码率陡增带来的时延。
图12示出了根据本发明实施例的参考图像编码的装置的示意性框图。应注意,编码端的有关操作本质上与解码端的一致,为了避免重复,在此不再赘述。如图12所示,解码设备30包括:
第一编码模块31,用于编码待编码序列,获得第一参考图像的重构图像,编码第二参考图像以获得所述第二参考图像的重构图像,所述第一参考图像先于所述第二参考图像被编码;
第二编码模块32,用于确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域,所述局部区域的尺寸小于或者等于所述第二参考图像的尺寸;
第三编码模块33,用于确定所述第一参考图像中对应区域或者相关区域是否已更新;当所述第一参考图像中对应区域或者相关区域未更新,且确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域时,用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值;
第四编码模块34,用于将用来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流。
具体而言,编码设备编码待编码序列,获得第一参考图像的重构图像,编码第二参考图像以获得所述第二参考图像的重构图像,确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域;确定所述第一参考图像中对应区域或者相关区域是否已更新;当所述第一参考图像中对应区域或者相关区域未更新,且确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域时,用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值;将用来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流。
因此,本发明实施例的参考图像编码的方法,编码设备通过后续参考图像的更新信息,通过像素拷贝的方式,局部地更新第一参考图像,由此,在使用第一参考图像提高压缩效率的同时,降低解码的复杂度,也避免了码率陡增带来的时延。
应理解,在本发明实施例中,所述第二参考图像的局部区域可以是最大编码单元(LCU)、编码单元(CU)、编码单元组(CU group)、预设大小的图像区域的一种,本发明对此不作限定。
应理解,在本发明实施例中,第一参考图像是在第二参考图像之前编码的图像,作为它所在的视频段内后续图像的参考图像。第一参考图像可以是编码待编码序列获得的第一帧重构图像,也可以是编码待编码序列获得的随机访问点图像,本发明对此不作限定。
应理解,在本发明实施例中,将用来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流,是指参考图象更新信息被编入码流的位置可以在第二参考图像的编码信息之前,之间或者之后以及参考图象更新信息可以作为第二参考图像的编码信息的一部分存在于码流中,本发明对此不作限定。
所述第二编码模块32用于确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域的实施方式,包括:
在第一种可行的实施方式中,所述第二编码模块具体用于:
获取所述第二参考图像的待编码图像与所述局部区域具有相同坐标位置的第一区域,以及所述第二参考图像前一帧的待编码图像与所述局部区域具有相同坐标位置的第二区域;
计算所述第一区域与所述第二区域中的所有像素点的均方误差值;
当所述均方误差值小于第四阈值时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:
第一步,获得当前待编码帧Fi,即第二参考图像,和前一帧Fi-1的原始图像;
第二步,对于当前待编码帧中每个区域,计算其与前一帧中相同位置的区域中所有像素点原始像素值的均方误差(Mean Square Error,MSE);
第三步,获得满足如下条件(34)的区域,其中Threshold1为预设阈值, Flagupdated为参考帧cRefi-1,即第一参考图像,中各区域是否已经被更新过的标识,1表示已被更新,0标识未被更新,cRefi-1为使用当前待编码帧Fi之前的已编码帧的重建像素值局部更新后的参考帧;
满足条件(34)的区域,为适用于更新所述第一参考图像中对应区域或者相关区域;否则,为不适用于更新所述第一参考图像中对应区域或者相关区域。
在第二种可行的实施方式中,所述第二编码模块具体用于:
获取所述局部区域的待编码图像进行帧间预测,获得所述局部区域的预测图像;
计算所述局部区域的待编码图像与所述局部区域的预测图像的所有像素点的横轴预测差绝对值和纵轴预测差绝对值之后的平均值;
当所述平均值小于第五阈值时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:
第一步,对当前待编码帧Fi,即第二参考图像,进行预测,Fi可使用cRefi-1,即第一参考图像,作为其参考帧进行帧间预测,也可使用其他短期参考帧进行帧间预测,cRefi-1为使用Fi之前已编码帧的重建像素值局部更新后的参考帧,即第一参考图像;获得Fi中各像素点的预测值(Px,Py)与原始像素值(Ox,Oy) 之间的差值,即预测误差;
第二步,获得满足如下条件(35)的区域:
公式(35)中,N为区域中像素点的个数,计算区域中所有像素点预测误差的平均值,并与阈值Threshold2进行比较。满足条件(35)的区域,为适用于更新所述第一参考图像中对应区域或者相关区域;否则,为不适用于更新所述第一参考图像中对应区域或者相关区域。
在第三种可行的实施方式中,所述第二编码模块具体用于:
获取所述第二参考图像中的局部区域的变换系数信息,其中,所述变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和;
当所述局部区域覆盖范围内的变换系数绝对值之和大于第六阈值时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:
第一步,对当前待编码帧Fi,即第二参考图像,进行预测编码,Fi可使用cRefi-1,即第一参考图像,作为其参考帧进行帧间预测,也可使用其他短期参考帧进行帧间预测,cRefi-1为使用Fi之前已编码帧的重建像素值局部更新后的参考帧;
第二步,获得当前帧中各区域的编码信息和量化后的变换系数,对其进行熵编码并写入码流,编码信息包括区域中各编码块的编码模式等;
第三步,获得满足如下条件(36)的区域;
Σ|Coefi|>Threshold14 (36)
满足条件(36)的区域,为适用于更新所述第一参考图像中对应区域或者相关区域;否则,为不适用于更新所述第一参考图像中对应区域或者相关区域。
在第四种可行的实施方式中,所述第二编码模块具体用于:
获取所述第二参考图像中的局部区域的变换系数信息,其中,所述变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和的平均值;
当所述局部区域覆盖范围内的变换系数绝对值之和的平均值大于第七阈值时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:
第一步,对当前待编码帧Fi,即第二参考图像,进行预测编码,Fi可使用cRefi-1,即第一参考图像,作为其参考帧进行帧间预测,也可使用其他短期参考帧进行帧间预测,cRefi-1为使用Fi之前已编码帧的重建像素值局部更新后的参考帧;
第二步,获得当前帧中各区域的编码信息和量化后的变换系数,对其进行熵编码并写入码流,编码信息包括区域中各编码块的编码模式等;
第三步,获得满足如下条件(37)的区域;
满足条件(37)的区域,为适用于更新所述第一参考图像中对应区域或者相关区域;否则,为不适用于更新所述第一参考图像中对应区域或者相关区域。
在第五种可行的实施方式中,所述第二编码模块具体用于:
统计所述第二参考图像的局部区域的编码比特数和其前一个被编码区域的编码比特数;
当所述第二参考图像的局部区域的编码比特数大于其前一个被编码区域的编码比特数时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
在第六种可行的实施方式中,所述第二编码模块具体用于:
统计所述第二参考图像的局部区域的编码比特数和其前一被编码帧的区域平均编码比特数;
当所述第二参考图像的局部区域的编码比特数大于其前一被编码帧的区域平均编码比特数时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
在第七种可行的实施方式中,所述第二编码模块具体用于:
获取所述第二参考图像中的局部区域的运动矢量信息,其中,所述运动矢量信息包括局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值;
当所述局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值均小于第八阈值,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:
第一步,对当前待编码帧Fi,即第二参考图像,进行预测编码,Fi可使用cRefi-1,即第一参考图像,作为其参考帧进行帧间预测,也可使用其他短期参考帧进行帧间预测,cRefi-1为使用Fi之前已编码帧的重建像素值局部更新后的参考帧;
第二步,获得当前帧中各区域的编码信息和量化后的变换系数,对其进行熵编码并写入码流,编码信息包括区域中各编码块的编码模式等;
第三步,获得满足如下条件(38)的区域;
公式(38)中,M表示当前区域中包含的编码块的个数;MVx和MVy 分别表示每个编码块的横向运动矢量和纵向运动矢量;计算当前区域中所有编码块的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值;将两个平均值分别与阈值Threshold16进行比较;满足条件(38) 的区域,为适用于更新所述第一参考图像中对应区域或者相关区域;否则,为不适用于更新所述第一参考图像中对应区域或者相关区域。
在第八种可行的实施方式中,所述第二编码模块具体用于:
获取所述第二参考图像中的局部区域运动矢量信息,其中,所述运动矢量信息包括局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,和所述第二参考图像前一已编码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值;
当所述局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值小于所述前一已编码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
优选地,具体实施方式为:
第一步,对当前待编码帧Fi,即第二参考图像,进行预测编码,Fi可使用cRefi-1,即第一参考图像,作为其参考帧进行帧间预测,也可使用其他短期参考帧进行帧间预测,cRefi-1为使用Fi之前已编码帧的重建像素值局部更新后的参考帧;
第二步,获得当前帧中各区域的编码信息和量化后的变换系数,对其进行熵编码并写入码流,编码信息包括区域中各编码块的编码模式等;
第三步,获得满足如下条件(39)的区域;
公式(39)中,M表示当前区域中包含的编码块的个数;N表示前一个已编码帧/解码帧中包含的编码块的个数;MVx和MVy分别表示每个编码块的横向运动矢量和纵向运动矢量;满足条件(39)的区域,为适用于更新所述第一参考图像中对应区域或者相关区域;否则,为不适用于更新所述第一参考图像中对应区域或者相关区域。
所述第四编码模块34用于将用来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流,其中将参考图像更新信息编入码流的实施方式,包括:
在第一种可行的实施方式中,所述第四编码模块具体用于:
当所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,所述标记为第一取值;当所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域,所述标记为第二取值,第一取值不同于第二取值;
将所述标记的取值编入码流。
优选地,具体实施方式为:
当所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,将标记设置为1,并编入码流,否则,将标记设置为0,编入码流。
在第二种可行的实施方式中,所述第四编码模块具体用于:
当所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,所述量化参数偏移值在第三取值范围内;当所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域,所述量化参数偏移值不在第三取值范围内;
将所述量化参数偏移值编入码流。
优选地,具体实施方式为:
若当前区域为用于更新所述第一参考图像中对应区域或者相关区域的局部区域,则根据此区域的纹理特性设置其QP(QParea)与帧级QP(QPSlice) 之间差值ΔQP,本实施例用区域中像素点亮度值的方差作为衡量其纹理特性的方法;如公式(40),利用更新区域像素点亮度值的方差与当前待编码帧中所有区域中像素点亮度值的方差的平均值的比值计算获得ΔQP,其中 10≤|ΔQP|<20;公式中,xi,n表示标号为n的区域中像素点i的亮度值,表示标号为n的区域中所有像素点亮度的平均值,N表示当前帧中区域的数量;
可以理解,本实施例使用方差作为衡量纹理特性的方法,也可使用其他方法衡量;同时也可根据除纹理特性之外的其他特性,例如运动特性来设置ΔQP。
量化参数偏移值ΔQP作为编码信息编入码流。
应理解,本发明实施例中对量化参数偏移量的取值给出了优选值,本发明对量化参数的取值不做限定。
在第三种可行的实施方式中,所述第四编码模块具体用于:
当所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,所述量化步长的缩放因子在第四取值范围内;当所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域,所述量化步长的缩放因子不在第四取值范围内;
将所述量化步长的缩放因子编入码流。
优选地,具体实施方式为:
当所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,编码端自适应地调整量化步长(Quantization Step,Qstep),将量化步长的缩放因子进行编码传递到解码端,所述区域的量化步长的缩放因子F不等于1。
缩放因子F的计算公式如下(41),其取值范围值0.5~1.5:
区域的量化步长计算公式如(42):
量化步长的缩放因子F作为编码信息编入码流。
应理解,本发明实施例中对缩放因子的取值给出了优选值,本发明对缩放因子的取值不做限定。
在第四种可行的实施方式中,所述第四编码模块具体用于:
当所述局部区域覆盖范围内的变换系数绝对值之和大于第九阈值,且所述第一参考图像中对应区域或者相关区域没有被更新过,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域;
将所述变换系数信息编入码流。
优选地,具体实施方式与解码端相对应不再重复,变换系数信息作为编码信息编入码流。
在第五种可行的实施方式中,所述第四编码模块具体用于:
当所述局部区域覆盖范围内的变换系数绝对值之和的平均值大于第十阈值,且所述第一参考图像中对应区域或者相关区域没有被更新过,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域;
将所述变换系数信息编入码流。
优选地,具体实施方式与解码端相对应不再重复,变换系数信息作为编码信息编入码流。
在第六种可行的实施方式中,所述第四编码模块具体用于:
当所述局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值均小于第十一阈值,且所述第一参考图像中对应区域或者相关区域没有被更新过,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域;
将所述运动矢量信息编入码流。
优选地,具体实施方式与解码端相对应不再重复,运动矢量信息作为编码信息编入码流。
在第七种可行的实施方式中,所述第四编码模块具体用于:
当所述局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值小于所述前一已编码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,且所述第一参考图像中对应区域或者相关区域没有被更新过,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域;
将所述运动矢量信息编入码流。
优选地,具体实施方式与解码端相对应不再重复,运动矢量信息作为编码信息编入码流。
所述第一编码模块31用于在所述编码待编码序列获得第二参考图像的重构图像的实施方式,包括:
在第一种可行的实施方式中,所述第一编码模块具体用于:使用固定量化参数编码所述第二参考图像的待编码图像,其中,对于所述局部区域使用第一量化参数,对于非所述局部区域使用第二量化参数。
优选地,具体实施方式为:
使用如下公式(43)计算得到的量化参数(Quantization Parameter,QP)对变换后的变换系数进行量化,其中QPSlice为帧级QP,更新区域为所述局部区域,非更新区域为其他区域,表3为QPSlice与ΔQP的取值对应关系。
表3ΔQP取值表
QPSlice取值范围 0~10 10~37 37~51
ΔQP 0 5 10
使用帧级QP-ΔQP作为所述局部区域的量化参数,使用帧级QP作为其他区域的量化参数。
应理解,本发明实施例中对量化参数的取值给出了优选值,本发明对量化参数的取值不做限定。
在第二种可行的实施方式中,所述第一编码模块具体用于:使用自适应量化参数编码所述第二参考图像的待编码图像,其中,对于所述局部区域根据纹理信息和运动信息至少其中之一确定量化参数,对于非所述局部区域使用帧级量化参数或者根据编码器规定的码率分配策略或质量控制策略设置确定量化参数。
优选地,具体实施方式为:
若当前区域为不是所述局部区域,则设置其QP(QParea)为帧级QP,也可以根据编码器规定的码率分配策略或质量控制策略设置其ΔQP;ΔQP绝对值的取值范围如公式(44),更新区域为所述局部区域,非更新区域为其他区域:
使用公式(44)中的量化参数作为第二参考图像各个区域的量化参数。
应理解,本发明实施例中对量化参数的取值给出了优选值,本发明对量化参数的取值不做限定。
所述第二编码模块32用于确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域,其中确定所述第一参考图像中对应区域或者相关区域的实施方式,包括:
在第一种可行的实施方式中,所述第一参考图像中对应区域为所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域。
在第二种可行的实施方式中,所述第二编码模块具体用于:当所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域被更新过时,以预定顺序依次搜索所述第一参考图像中的区域,所述第一参考图像中对应区域为所述顺序中的第一块没有被更新过的区域,否则,所述第一参考图像中对应区域为所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域。
优选地,具体实施方式与解码端相对应不再重复。
在第三种可行的实施方式中,所述第二解码模块还具体用于:获得所述局部区域所在的坐标位置与所述第一参考图像中相关区域所在的坐标位置之间的空间偏移量,所述空间偏移量包括横向偏移量和纵向偏移量,并在所述第三解码模块用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值之前,根据所述第二参考图像的局域区域的所在位置的坐标以及所述的空间偏移量确定所述第一参考图像相关区域的位置。
优选地,具体实施方式与解码端相对应不再重复。
第四编码模块34用于在将用来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流之后,可选地,还包括第五编码模块35,用于对像素替换后的第一参考图像中对应区域或者相关区域与相邻区域的边界处进行滤波。
优选地,具体实施方式同第四编码模块14相同。
因此,本发明实施例的参考图像编码的方法,编码设备通过后续参考图像的更新信息,通过像素拷贝的方式,局部地更新第一参考图像,由此,在使用第一参考图像提高压缩效率的同时,降低解码的复杂度,也避免了码率陡增带来的时延。
图13示出了根据本发明实施例的参考图像编码的装置的示意性框图。如图13所示,编码设备40包括:
第一编码模块41,用于检测所述待编码序列;
第二编码模块42,用于判断当前待编码图像是否为场景切换图像;
第三编码模块43,用于编码当前待编码图像,在编码所述待编码图像的重构图像之前或之后,将所述特定顺序号编入码流。
优选地,如图14所示,第三编码模块43包括:
第一编码模块431,用于确定当前待编码图像的特定顺序号,其中,当当前待编码图像是场景切换图像时,顺序赋予当前待编图像顺序号,否则,将当前待编码图像更新范围内的场景切换图像的顺序号的相同或关联顺序号赋予当前待编码图像;
第二编码模块432,用于使用设备30编码当前待编码图像;
第三编码模块433,用于当当前待编码图像不是场景切换图像时,使用设备30更新当前待编码图像所对应的场景切换图像所对应的参考图像;
第四编码模块434,用于在编码所述待编码图像的重构图像之前或之后,将所述特定顺序号编入码流。
可以理解,场景切换图像是指设备30中的第一参考图像所对应的待编码图像,还可以是和同一视频段内的其他视频帧具有参考关系的第一帧,随机接入图像等,本发明不作限定。
可以理解,在待编码序列中,可以有一个或者多个场景切换图像或者随机接入图像,本发明不作限定。
图15示出了根据本发明实施例的参考图像解码的装置的示意性框图。如图15所示,解码设备50包括:
第一解码模块51,用于判断当前待解码图像是否为场景切换图像;
第二解码模块52,用于与编码端相对应的,在解码所述待解码图像的重构图像之前或之后,解析码流,获得当前待解码图像的特定顺序号;
第三解码模块53,用于解析码流,获得待解码图像的重构图像;
第四解码模块54,用于当当前待解码图像不为场景切换图像时,根据所述特定顺序号确定对应的场景切换图像;
第五解码模块55,用于当当前待解码图像不为场景切换图像时,使用设备10或20,更新所述特定顺序号确定对应的场景切换图像所对应的参考图像。
可以理解,场景切换图像是指设备10中的第一参考图像所对应的待解码图像或者设备20中的第一参考图像所对应的待解码图像,还可以是和同一视频段内的其他视频帧具有参考关系的第一帧,随机接入图像等,本发明不作限定。
可以理解,在待解码序列中,可以有一个或者多个场景切换图像或者随机接入图像,本发明不作限定。
如图16所示,本发明实施例还提供了一种编码设备60,包括处理器61、存储器62和总线系统63。其中,处理器61和存储器62通过总线系统63 相连,该存储器62用于存储指令,该处理器61用于执行该存储器62存储的指令。编码设备60的存储器62存储程序代码,且处理器61可以调用存储器62中存储的程序代码执行以下操作:编码待编码序列,获得第一参考图像的重构图像,编码第二参考图像以获得所述第二参考图像的重构图像,所述第一参考图像先于所述第二参考图像被编码;确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域,所述局部区域的尺寸小于或者等于所述第二参考图像的尺寸;确定所述第一参考图像中对应区域或者相关区域是否已更新;当所述第一参考图像中对应区域或者相关区域未更新,且确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域时,用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值;将用来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流。
因此,本发明实施例的参考图像编码的方法,编码设备通过后续参考图像的更新信息,通过像素拷贝的方式,局部地更新第一参考图像,由此,在使用第一参考图像提高压缩效率的同时,降低解码的复杂度,也避免了码率陡增带来的时延。
应理解,在本发明实施例中,该处理器61可以是中央处理单元(CentralProcessing Unit,简称为“CPU”),该处理器61还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器62可以包括只读存储器和随机存取存储器,并向处理器61提供指令和数据。存储器62的一部分还可以包括非易失性随机存取存储器。例如,存储器62还可以存储设备类型的信息。
该总线系统63除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都标为总线系统63。
在实现过程中,上述方法的各步骤可以通过处理器61中的硬件的集成逻辑电路或者软件形式的指令完成。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器62,处理器61读取存储器62中的信息,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
应理解,根据本发明实施例的编码设备60可对应于本发明实施例中的编码设备30,并可以对应于执行根据本发明实施例的方法3000中的相应主体,为了简洁,在此不再赘述。
如图17所示,本发明实施例还提供了一种解码设备70,包括处理器71、存储器72和总线系统73。其中,处理器71和存储器72通过总线系统73 相连,该存储器72用于存储指令,该处理器71用于执行该存储器72存储的指令。解码设备70的存储器72存储程序代码,且处理器71可以调用存储器72中存储的程序代码执行以下操作:解析码流,获得第一参考图像的重构图像以及第二参考图像的重构图像,所述第一参考图像先于所述第二参考图像被解码;在所述解析码流获得第二参考图像的重构图像之前,或者所述解析码流获得第二参考图像的重构图像之中,或者所述解析码流获得第二参考图像的重构图像之后;解析码流,获得参考图像更新信息,并根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域,所述局部区域的尺寸小于或者等于所述第二参考图像的尺寸;当所述参考图像更新信息确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域时,用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值。
因此,本发明实施例的参考图像解码的方法,解码设备通过后续参考图像的更新信息,通过像素拷贝的方式,局部地更新第一参考图像,由此,在使用第一参考图像提高压缩效率的同时,降低解码的复杂度,也避免了码率陡增带来的时延。
应理解,在本发明实施例中,该处理器71可以是中央处理单元(CentralProcessing Unit,简称为“CPU”),该处理器71还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器72可以包括只读存储器和随机存取存储器,并向处理器71提供指令和数据。存储器72的一部分还可以包括非易失性随机存取存储器。例如,存储器72还可以存储设备类型的信息。
该总线系统73除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都标为总线系统73。
在实现过程中,上述方法的各步骤可以通过处理器71中的硬件的集成逻辑电路或者软件形式的指令完成。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器72,处理器71读取存储器72中的信息,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
应理解,根据本发明实施例的编码设备70可对应于本发明实施例中的编码设备10,并可以对应于执行根据本发明实施例的方法1000中的相应主体,为了简洁,在此不再赘述。
如图18所示,本发明实施例还提供了一种解码设备80,包括处理器81、存储器82和总线系统83。其中,处理器81和存储器82通过总线系统83 相连,该存储器82用于存储指令,该处理器81用于执行该存储器82存储的指令。解码设备80的存储器82存储程序代码,且处理器81可以调用存储器82中存储的程序代码执行以下操作:解析码流,获得第一参考图像的重构图像以及第二参考图像的重构图像,所述第一参考图像先于所述第二参考图像被解码;在所述解析码流获得第二参考图像的重构图像之前,或者所述解析码流获得第二参考图像的重构图像之中,或者所述解析码流获得第二参考图像的重构图像之后;解析码流,获得参考图像更新信息,并根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域,所述局部区域的尺寸小于或者等于所述第二参考图像的尺寸;确定所述第一参考图像中对应区域或者相关区域是否已更新;当所述第一参考图像中对应区域或者相关区域未更新,且所述参考图像更新信息确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域时,用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值。
因此,本发明实施例的参考图像解码的方法,解码设备通过后续参考图像的更新信息,通过像素拷贝的方式,局部地更新第一参考图像,由此,在使用第一参考图像提高压缩效率的同时,降低解码的复杂度,也避免了码率陡增带来的时延。
应理解,在本发明实施例中,该处理器81可以是中央处理单元(CentralProcessing Unit,简称为“CPU”),该处理器81还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器82可以包括只读存储器和随机存取存储器,并向处理器81提供指令和数据。存储器82的一部分还可以包括非易失性随机存取存储器。例如,存储器82还可以存储设备类型的信息。
该总线系统83除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都标为总线系统83。
在实现过程中,上述方法的各步骤可以通过处理器81中的硬件的集成逻辑电路或者软件形式的指令完成。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器82,处理器81读取存储器82中的信息,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
应理解,根据本发明实施例的编码设备80可对应于本发明实施例中的编码设备20,并可以对应于执行根据本发明实施例的方法2000中的相应主体,为了简洁,在此不再赘述。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
另外,本文中术语“系统”和“网络”在本文中常可互换使用。应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
在本申请所提供的实施例中,应理解,“与A相应的B”表示B与A相关联,根据A可以确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其它信息确定B。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称为“ROM”)、随机存取存储器(Random Access Memory,简称为“RAM”)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (130)

1.一种参考图像的解码方法,其特征在于,包括:
解析码流,获得第一参考图像的重构图像以及第二参考图像的重构图像,所述第一参考图像先于所述第二参考图像被解码;
在所述解析码流获得第二参考图像的重构图像之前,或者所述解析码流获得第二参考图像的重构图像之中,或者所述解析码流获得第二参考图像的重构图像之后,获得参考图像更新信息,并根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域,所述局部区域的尺寸小于或者等于所述第二参考图像的尺寸;
当所述参考图像更新信息确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域时,用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值。
2.根据权利要求1所述的解码方法,其特征在于:所述解析码流,获得参考图像更新信息,并根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域包括:解析所述码流,获取标记,若所述标记为第一取值时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,若所述标记为第二取值时,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域,第一取值不同于第二取值。
3.根据权利要求1所述的解码方法,其特征在于:所述解析码流,获得参考图像更新信息,并根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域包括:解析所述码流,获取编码信息,根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域。
4.根据权利要求3所述的解码方法,其特征在于:所述编码信息包括所述第二参考图像中的局部区域的量化参数偏移值;对应,所述根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域包括:当所述量化参数偏移值的绝对值在第一取值范围内时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域;当所述量化参数偏移值的绝对值不在第一取值范围内时,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域。
5.根据权利要求4所述的解码方法,其特征在于:包括:
所述第一取值范围为大于等于10,且小于20。
6.根据权利要求3所述的解码方法,其特征在于:所述编码信息包括所述第二参考图像中的局部区域的量化步长的缩放因子;对应,所述根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域包括:当所述量化步长的缩放因子在第二取值范围内时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域;当所述量化步长的缩放因子不在第二取值范围内时,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域。
7.根据权利要求6所述的解码方法,其特征在于:所述当所述量化步长的缩放因子在第二取值范围内时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域包括:当所述量化步长的所述缩放因子大于等于0.5,且小于1;或所述缩放因子小于等于1.5,且大于1时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域。
8.根据权利要求1至7任意一项所述的解码方法,其特征在于:所述第一参考图像中对应区域为所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域。
9.根据权利要求1至7任意一项所述的解码方法,其特征在于:所述解析码流,所述获得参考图像更新信息,并根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域还包括:获得所述局部区域所在的坐标位置与所述第一参考图像中相关区域所在的坐标位置之间的空间偏移量,所述空间偏移量包括横向偏移量和纵向偏移量;
所述方法还包括:在用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值之前,根据所述第二参考图像的局域区域的所在位置的坐标以及所述的空间偏移量确定所述第一参考图像相关区域的位置。
10.根据权利要求1所述的解码方法,还包括:对像素替换后的第一参考图像中对应区域或者相关区域与相邻区域的边界处进行滤波。
11.根据权利要求1所述的解码方法,其特征在于:所述第一参考图像为解析码流获得的第一帧重构图像。
12.根据权利要求1所述的解码方法,其特征在于:所述第一参考图像为解析码流获得的随机访问点图像。
13.根据权利要求1所述的解码方法,其特征在于,所述第二参考图像的局部区域是最大编码单元、编码单元、编码单元组、预设大小的图像区域中的一种。
14.根据权利要求1所述的解码方法,其特征在于,所述解析码流获得第一参考图像的重构图像,包括:解析所述码流获得所述第一参考图像的特定顺序号,并获得具有所述特定顺序号的第一参考图像的重构图像。
15.根据权利要求14所述的解码方法,其特征在于,所述解析码流获得第二参考图像的重构图像,包括:解析所述码流获得所述第二参考图像的特定顺序号,所述第二参考图像的特定顺序号与被所述第二参考图像更新的所述第一参考图像的特定顺序号相关联,并获得具有所述第二参考图像的特定顺序号的第二参考图像的重构图像。
16.一种参考图像的解码方法,其特征在于,包括:
解析码流,获得第一参考图像的重构图像以及第二参考图像的重构图像,所述第一参考图像先于所述第二参考图像被解码;
在所述解析码流获得第二参考图像的重构图像之前,或者所述解析码流获得第二参考图像的重构图像之中,或者所述解析码流获得第二参考图像的重构图像之后,获得参考图像更新信息,并根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域,所述局部区域的尺寸小于或者等于所述第二参考图像的尺寸;
确定所述第一参考图像中对应区域或者相关区域是否已更新;
当所述第一参考图像中对应区域或者相关区域未更新,且所述参考图像更新信息确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域时,用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值。
17.根据权利要求16所述的解码方法,其特征在于:所述解析码流,获得参考图像更新信息,并根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域包括:解析所述码流,获取标记,若所述标记为第一取值时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,若所述标记为第二取值时,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域,第一取值不同于第二取值。
18.根据权利要求16所述的解码方法,其特征在于:所述解析码流,获得参考图像更新信息,并根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域包括:解析所述码流,获取编码信息,根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域。
19.根据权利要求18所述的解码方法,其特征在于:所述编码信息包括所述第二参考图像中的局部区域的变换系数信息,其中,所述变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和;对应,所述根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域包括:
当所述局部区域覆盖范围内的变换系数绝对值之和大于第一阈值,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
20.根据权利要求18所述的解码方法,其特征在于:所述编码信息包括所述第二参考图像中的局部区域的变换系数信息,其中,所述变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和的平均值;对应,所述根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像包括:
当所述局部区域覆盖范围内的变换系数绝对值之和的平均值大于第二阈值,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
21.根据权利要求18所述的解码方法,其特征在于:所述编码信息包括所述第二参考图像中的局部区域的量化参数偏移值;对应,所述根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域包括:当所述量化参数偏移值的绝对值在第一取值范围内时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域;当所述量化参数偏移值的绝对值不在第一取值范围内时,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
22.根据权利要求21所述的解码方法,其特征在于:包括:
所述第一取值范围为大于等于10,且小于20。
23.根据权利要求18所述的解码方法,其特征在于:所述编码信息包括所述第二参考图像中的局部区域的量化步长的缩放因子;对应,所述根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域包括:当所述量化步长的缩放因子在第二取值范围内时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域;当所述量化步长的缩放因子不在第二取值范围内时,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
24.根据权利要求23所述的解码方法,其特征在于:所述当所述量化步长的缩放因子在第二取值范围内时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域包括:当所述量化步长的所述缩放因子大于等于0.5,且小于1;或所述缩放因子小于等于1.5,且大于1时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域。
25.根据权利要求18所述的解码方法,其特征在于:所述编码信息包括所述第二参考图像中的局部区域的运动矢量信息,其中,所述运动矢量信息包括局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值;对应,所述根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像包括:
当所述局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值均小于第三阈值,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
26.根据权利要求18所述的解码方法,其特征在于:所述编码信息包括所述第二参考图像中的局部区域的运动矢量信息,其中,所述运动矢量信息包括局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,和所述第二参考图像前一已解码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值;对应,所述根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像包括:
当所述局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值小于所述前一已解码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
27.根据权利要求16至26任意一项所述的解码方法,其特征在于:所述第一参考图像中对应区域为所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域。
28.根据权利要求16至26任意一项所述的解码方法,其特征在于:当所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域被更新过时,以预定顺序依次搜索所述第一参考图像中的区域,所述第一参考图像中对应区域为所述顺序中的第一块没有被更新过的区域,否则,所述第一参考图像中对应区域为所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域。
29.根据权利要求16至26任意一项所述的解码方法,其特征在于:所述解析码流,所述获得参考图像更新信息,并根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域还包括:获得所述局部区域所在的坐标位置与所述第一参考图像中相关区域所在的坐标位置之间的空间偏移量,所述空间偏移量包括横向偏移量和纵向偏移量;
所述方法还包括:在用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值之前,根据所述第二参考图像的局域区域的所在位置的坐标以及所述的空间偏移量确定所述第一参考图像相关区域的位置。
30.根据权利要求16所述的解码方法,还包括:对像素替换后的第一参考图像中对应区域或者相关区域与相邻区域的边界处进行滤波。
31.根据权利要求16所述的解码方法,其特征在于:所述第一参考图像为解析码流获得的第一帧重构图像。
32.根据权利要求16所述的解码方法,其特征在于:所述第一参考图像为解析码流获得的随机访问点图像。
33.根据权利要求16所述的解码方法,其特征在于,所述第二参考图像的局部区域是最大编码单元、编码单元、编码单元组、预设大小的图像区域中的一种。
34.根据权利要求16所述的解码方法,其特征在于,所述解析码流获得第一参考图像的重构图像,还包括:解析所述码流获得所述第一参考图像的特定顺序号,并获得具有所述特定顺序号的第一参考图像的重构图像。
35.根据权利要求34所述的解码方法,其特征在于,所述解析码流获得第二参考图像的重构图像,还包括:解析所述码流获得所述第二参考图像的特定顺序号,所述第二参考图像的特定顺序号与被所述第二参考图像更新的所述第一参考图像的特定顺序号相关联,并获得具有所述第二参考图像的特定顺序号的第二参考图像的重构图像。
36.一种参考图像的编码方法,其特征在于,包括:
编码待编码序列,获得第一参考图像的重构图像,编码第二参考图像以获得所述第二参考图像的重构图像,所述第一参考图像先于所述第二参考图像被编码;
确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域,所述局部区域的尺寸小于或者等于所述第二参考图像的尺寸;
确定所述第一参考图像中对应区域或者相关区域是否已更新;
当所述第一参考图像中对应区域或者相关区域未更新,且确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域时,用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值;
将用来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流。
37.根据权利要求36所述的一种编码方法,其特征在于:所述确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域,包括:
获取所述第二参考图像的待编码图像与所述局部区域具有相同坐标位置的第一区域,以及所述第二参考图像前一帧的待编码图像与所述局部区域具有相同坐标位置的第二区域;
计算所述第一区域与所述第二区域中的所有像素点的均方误差值;
当所述均方误差值小于第四阈值时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
38.根据权利要求36所述的一种编码方法,其特征在于:所述确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域,包括:
获取所述局部区域的待编码图像进行帧间预测,获得所述局部区域的预测图像;
计算所述局部区域的待编码图像与所述局部区域的预测图像的所有像素点的横轴预测差绝对值和纵轴预测差绝对值之后的平均值;
当所述平均值小于第五阈值时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
39.根据权利要求36所述的一种编码方法,其特征在于:所述确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域,包括:
获取所述第二参考图像中的局部区域的变换系数信息,其中,所述变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和;
当所述局部区域覆盖范围内的变换系数绝对值之和大于第六阈值时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
40.根据权利要求36所述的一种编码方法,其特征在于:所述确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域,包括:
获取所述第二参考图像中的局部区域的变换系数信息,其中,所述变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和的平均值;
当所述局部区域覆盖范围内的变换系数绝对值之和的平均值大于第七阈值时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
41.根据权利要求36所述的一种编码方法,其特征在于:所述确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域,包括:
统计所述第二参考图像的局部区域的编码比特数和其前一个被编码区域的编码比特数;
当所述第二参考图像的局部区域的编码比特数大于其前一个被编码区域的编码比特数时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
42.根据权利要求36所述的一种编码方法,其特征在于:所述确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域,包括:
统计所述第二参考图像的局部区域的编码比特数和其前一被编码帧的区域平均编码比特数;
当所述第二参考图像的局部区域的编码比特数大于其前一被编码帧的区域平均编码比特数时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
43.根据权利要求36所述的一种编码方法,其特征在于:所述确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域,包括:
获取所述第二参考图像中的局部区域的运动矢量信息,其中,所述运动矢量信息包括局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值;
当所述局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值均小于第八阈值,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
44.根据权利要求36所述的一种编码方法,其特征在于:所述确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域,包括:
获取所述第二参考图像中的局部区域运动矢量信息,其中,所述运动矢量信息包括局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,和所述第二参考图像前一已编码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值;
当所述局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值小于所述前一已编码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
45.根据权利要求36所述的编码方法,其特征在于,所述参考图像更新信息,包括:
确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域的标记;
对应,将用来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流,包括:将所述标记的取值编入码流,当所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,所述标记为第一取值;当所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域,所述标记为第二取值,第一取值不同于第二取值。
46.根据权利要求36所述的编码方法,其特征在于,所述参考图像更新信息,包括:
所述第二参考图像的局部区域的量化参数偏移值;
对应,将用来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流,包括:
将所述量化参数偏移值编入码流,当所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,所述量化参数偏移值的绝对值在第三取值范围内;当所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域,所述量化参数偏移值的绝对值不在第三取值范围内。
47.根据权利要求46所述的编码方法,其特征在于:包括:
所述第三取值范围为大于等于10,且小于20。
48.根据权利要求36所述的编码方法,其特征在于,所述参考图像更新信息,包括:
所述第二参考图像的局部区域的量化步长的缩放因子;
对应,将用来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流,包括:将所述量化步长的缩放因子编入码流,当所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,所述量化步长的缩放因子在第四取值范围内;当所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域,所述量化步长的缩放因子不在第四取值范围内。
49.根据权利要求48所述的编码方法,其特征在于:所述当所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,所述量化步长的缩放因子在第四取值范围内包括:当所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,所述量化步长的所述缩放因子大于等于0.5,且小于1;或所述缩放因子小于等于1.5,且大于1。
50.根据权利要求36所述的编码方法,其特征在于,所述参考图像更新信息,包括:
所述第二参考图像的局部区域的变换系数信息,其中,所述变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和;
对应,将用来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流,包括:将所述变换系数信息编入码流,当所述局部区域覆盖范围内的变换系数绝对值之和大于第九阈值,且所述第一参考图像中对应区域或者相关区域没有被更新过,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域。
51.根据权利要求36所述的编码方法,其特征在于,所述参考图像更新信息,包括:
所述第二参考图像的局部区域的变换系数信息,其中,所述变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和的平均值;
对应,将用来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流,包括:将所述变换系数信息编入码流,当所述局部区域覆盖范围内的变换系数绝对值之和的平均值大于第十阈值,且所述第一参考图像中对应区域或者相关区域没有被更新过,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域。
52.根据权利要求36所述的编码方法,其特征在于,所述参考图像更新信息,包括:
所述第二参考图像的局部区域的运动矢量信息,其中,所述运动矢量信息包括局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值;
对应,将用来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流,包括:将所述运动矢量信息编入码流,当所述局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值均小于第十一阈值,且所述第一参考图像中对应区域或者相关区域没有被更新过,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域。
53.根据权利要求36所述的编码方法,其特征在于,所述参考图像更新信息,包括:
所述第二参考图像中的局部区域运动矢量信息,其中,所述运动矢量信息包括局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,和所述第二参考图像前一已编码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值;
对应,将用来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流,包括:将所述运动矢量信息编入码流,当所述局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值小于所述前一已编码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,且所述第一参考图像中对应区域或者相关区域没有被更新过,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域。
54.根据权利要求36所述的编码方法,其特征在于,所述编码待编码序列,获得第二参考图像的重构图像,包括:
使用固定量化参数编码所述第二参考图像的待编码图像,其中,对于所述局部区域使用第一量化参数,对于非所述局部区域使用第二量化参数。
55.根据权利要求54所述的编码方法,其特征在于,包括:
当第二量化参数大于等于0,且小于10时,第一量化参数为第二量化参数;
当第二量化参数大于等于10,且小于37时,第一量化参数为第二量化参数减5;
当第二量化参数大于等于37,且小于等于51时,第一量化参数为第二量化参数减10。
56.根据权利要求36所述的编码方法,其特征在于,所述编码待编码序列,获得第二参考图像的重构图像,包括:
使用自适应量化参数编码所述第二参考图像的待编码图像,其中,对于所述局部区域根据纹理信息和运动信息至少其中之一确定量化参数,对于非所述局部区域使用帧级量化参数或者根据编码器规定的码率分配策略或质量控制策略设置确定量化参数。
57.根据权利要求36至56任意一项所述的编码方法,其特征在于:所述第一参考图像中对应区域为所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域。
58.根据权利要求36至56任意一项所述的编码方法,其特征在于:当所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域被更新过时,以预定顺序依次搜索所述第一参考图像中的区域,所述第一参考图像中对应区域为所述顺序中的第一块没有被更新过的区域,否则,所述第一参考图像中对应区域为所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域。
59.根据权利要求36至56任意一项所述的编码方法,其特征在于:所述参考图像更新信息还包括有所述局部区域所在的坐标位置与所述第一参考图像中相关区域所在的坐标位置之间的空间偏移量,所述空间偏移量包括横向偏移量和纵向偏移量;对应,所述方法还包括:
将所述空间偏移量编入码流。
60.根据权利要求36所述的编码方法,还包括:对像素替换后的第一参考图像中对应区域或者相关区域与相邻区域的边界处进行滤波。
61.根据权利要求36所述的编码方法,其特征在于:所述第一参考图像为编码待编码序列获得的第一帧重构图像。
62.根据权利要求36所述的编码方法,其特征在于:所述第一参考图像为编码待编码序列获得的随机访问点图像。
63.根据权利要求36所述的编码方法,其特征在于,所述第二参考图像的局部区域是最大编码单元、编码单元、编码单元组、预设大小的图像区域中的一种。
64.根据权利要求36所述的编码方法,其特征在于,所述编码待编码序列,获得第一参考图像的重构图像,还包括:
检测所述待编码序列;
判断所述第一参考图像是否为场景切换图像;
确定所述第一参考图像特定顺序号;
在编码所述第一参考图像的待编码图像之前或之后,将所述特定顺序号编入码流。
65.根据权利要求36所述的编码方法,其特征在于,所述编码待编码序列,获得第二参考图像的重构图像,还包括:
确定被所述第二参考图像所更新的所述第一参考图像的特定顺序号;
在编码所述第二参考图像的待编码图像之前或之后,将所述特定顺序号或者与所述特定顺序号关联的号码编入码流。
66.一种参考图像的解码设备,其特征在于,包括:
第一解码模块,用于解析码流,获得第一参考图像的重构图像以及第二参考图像的重构图像,所述第一参考图像先于所述第二参考图像被解码;
第二解码模块,在所述解析码流获得第二参考图像的重构图像之前,或者所述解析码流获得第二参考图像的重构图像之中,或者所述解析码流获得第二参考图像的重构图像之后,获得参考图像更新信息,并根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域,所述局部区域的尺寸小于或者等于所述第二参考图像的尺寸;
第三解码模块,当所述参考图像更新信息确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域时,用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值。
67.根据权利要求66所述的解码设备,其特征在于,所述第二解码模块具体用于:解析所述码流,获取标记,若所述标记为第一取值时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,若所述标记为第二取值时,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域,第一取值不同于第二取值。
68.根据权利要求66所述的解码设备,其特征在于,所述第二解码模块具体用于:解析所述码流,获取编码信息,根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域。
69.根据权利要求68所述的解码设备,其特征在于:所述编码信息包括所述第二参考图像中的局部区域的量化参数偏移值;对应,所述第二解码模块具体用于:当所述量化参数偏移值的绝对值在第一取值范围内时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域;当所述量化参数偏移值的绝对值不在第一取值范围内时,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域。
70.根据权利要求69所述的解码设备,其特征在于:包括:
所述第一取值范围为大于等于10,且小于20。
71.根据权利要求68所述的解码设备,其特征在于:所述编码信息包括所述第二参考图像中的局部区域的量化步长的缩放因子;对应,所述第二解码模块具体用于:当所述量化步长的缩放因子在第二取值范围内时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域;当所述量化步长的缩放因子不在第二取值范围内时,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域。
72.根据权利要求71所述的解码设备,其特征在于:所述当所述量化步长的缩放因子在第二取值范围内时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域包括:当所述量化步长的所述缩放因子大于等于0.5,且小于1;或所述缩放因子小于等于1.5,且大于1时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域。
73.根据权利要求66至72任意一项所述的解码设备,其特征在于:所述第一参考图像中对应区域为所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域。
74.根据权利要求66至72任意一项所述的解码设备,其特征在于:所述第二解码模块还具体用于:获得所述局部区域所在的坐标位置与所述第一参考图像中相关区域所在的坐标位置之间的空间偏移量,所述空间偏移量包括横向偏移量和纵向偏移量,并在所述第三解码模块用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值之前,根据所述第二参考图像的局域区域的所在位置的坐标以及所述的空间偏移量确定所述第一参考图像相关区域的位置。
75.根据权利要求66所述的解码设备,还包括第四解码模块,所述第四解码模块具体用于:对像素替换后的第一参考图像中对应区域或者相关区域与相邻区域的边界处进行滤波。
76.根据权利要求66所述的解码设备,其特征在于:所述第一参考图像为解析码流获得的第一帧重构图像。
77.根据权利要求66所述的解码设备,其特征在于:所述第一参考图像为解析码流获得的随机访问点图像。
78.根据权利要求66所述的解码设备,其特征在于,所述第二参考图像的局部区域是最大编码单元、编码单元、编码单元组、预设大小的图像区域中的一种。
79.根据权利要求66所述的解码设备,其特征在于,所述第一解码模块还具体用于:解析所述码流获得所述第一参考图像的特定顺序号。
80.根据权利要求79所述的解码设备,其特征在于,所述第一解码模块还具体用于:解析所述码流获得所述第二参考图像的特定顺序号,所述特定顺序号与被所述第二参考图像更新的所述第一参考图像的特定顺序号相关联。
81.一种参考图像的解码设备,其特征在于,包括:
第一解码模块,用于解析码流,获得第一参考图像的重构图像以及第二参考图像的重构图像,所述第一参考图像先于所述第二参考图像被解码;
第二解码模块,用于在所述解析码流获得第二参考图像的重构图像之前,或者所述解析码流获得第二参考图像的重构图像之中,或者所述解析码流获得第二参考图像的重构图像之后;
解析码流,获得参考图像更新信息,并根据所述参考图像更新信息确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域,所述局部区域的尺寸小于或者等于所述第二参考图像的尺寸;
第三解码模块,用于确定所述第一参考图像中对应区域或者相关区域是否已更新;
当所述第一参考图像中对应区域或者相关区域未更新,且所述参考图像更新信息确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域时,用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值。
82.根据权利要求81所述的解码设备,其特征在于:所述第二解码模块具体用于:解析所述码流,获取标记,若所述标记为第一取值时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,若所述标记为第二取值时,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域,第一取值不同于第二取值。
83.根据权利要求81所述的解码设备,其特征在于:所述第二解码模块具体用于:解析所述码流,获取编码信息,根据所述编码信息以及预设规则来确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域。
84.根据权利要求83所述的解码设备,其特征在于:所述编码信息包括所述第二参考图像中的局部区域的变换系数信息,其中,所述变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和;对应,所述第二解码模块具体用于:
当所述局部区域覆盖范围内的变换系数绝对值之和大于第一阈值,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
85.根据权利要求83所述的解码设备,其特征在于:所述编码信息包括所述第二参考图像中的局部区域的变换系数信息,其中,所述变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和的平均值;对应,所述第二解码模块具体用于:
当所述局部区域覆盖范围内的变换系数绝对值之和的平均值大于第二阈值,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
86.根据权利要求83所述的解码设备,其特征在于:所述编码信息包括所述第二参考图像中的局部区域的量化参数偏移值;对应,所述第二解码模块具体用于:当所述量化参数偏移值的绝对值在第一取值范围内时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域;当所述量化参数偏移值的绝对值不在第一取值范围内时,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
87.根据权利要求86所述的解码设备,其特征在于:包括:
所述第一取值范围为大于等于10,且小于20。
88.根据权利要求83所述的解码设备,其特征在于:所述编码信息包括所述第二参考图像中的局部区域的量化步长的缩放因子;对应,所述第二解码模块具体用于:当所述量化步长的缩放因子在第二取值范围内时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域;当所述量化步长的缩放因子不在第二取值范围内时,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
89.根据权利要求88所述的解码设备,其特征在于:所述当所述量化步长的缩放因子在第二取值范围内时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域包括:当所述量化步长的所述缩放因子大于等于0.5,且小于1;或所述缩放因子小于等于1.5,且大于1时,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域。
90.根据权利要求83所述的解码设备,其特征在于:所述编码信息包括所述第二参考图像中的局部区域的运动矢量信息,其中,所述运动矢量信息包括局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值;对应,所述第二解码模块具体用于:
当所述局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值均小于第三阈值,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
91.根据权利要求83所述的解码设备,其特征在于:所述编码信息包括所述第二参考图像中的局部区域的运动矢量信息,其中,所述运动矢量信息包括局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,和所述第二参考图像前一已解码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值;对应,所述第二解码模块具体用于:
当所述局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值小于所述前一已解码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
92.根据权利要求81至91任意一项所述的解码设备,其特征在于:所述第一参考图像中对应区域为所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域。
93.根据权利要求81至91任意一项所述的解码设备,其特征在于,所述第二解码模块还具体用于:当所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域被更新过时,以预定顺序依次搜索所述第一参考图像中的区域,所述第一参考图像中对应区域为所述顺序中的第一块没有被更新过的区域,否则,所述第一参考图像中对应区域为所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域。
94.根据权利要求81至91任意一项所述的解码设备,其特征在于:所述第二解码模块还具体用于:获得所述局部区域所在的坐标位置与所述第一参考图像中相关区域所在的坐标位置之间的空间偏移量,所述空间偏移量包括横向偏移量和纵向偏移量,并在所述第三解码模块用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值之前,根据所述第二参考图像的局域区域的所在位置的坐标以及所述的空间偏移量确定所述第一参考图像相关区域的位置。
95.根据权利要求81所述的解码设备,还包括第四解码模块,所述第四解码模块还具体用于:对像素替换后的第一参考图像中对应区域或者相关区域与相邻区域的边界处进行滤波。
96.根据权利要求81所述的解码设备,其特征在于:所述第一参考图像为解析码流获得的第一帧重构图像。
97.根据权利要求81所述的解码设备,其特征在于:所述第一参考图像为解析码流获得的随机访问点图像。
98.根据权利要求81所述的解码设备,其特征在于,所述第二参考图像的局部区域是最大编码单元、编码单元、编码单元组、预设大小的图像区域中的一种。
99.根据权利要求81所述的解码设备,其特征在于,所述第一解码模块具体用于:解析所述码流获得所述第一参考图像的特定顺序号。
100.根据权利要求99所述的解码设备,其特征在于,所述第一解码模块还具体用于:解析所述码流获得所述第二参考图像的特定顺序号,所述特定顺序号与被所述第二参考图像更新的所述第一参考图像的特定顺序号相关联。
101.一种参考图像的编码设备,其特征在于,包括:
第一编码模块,用于编码待编码序列,获得第一参考图像的重构图像,编码第二参考图像以获得所述第二参考图像的重构图像,所述第一参考图像先于所述第二参考图像被编码;
第二编码模块,用于确定所述第二参考图像中的局部区域是否适用于更新所述第一参考图像中对应区域或者相关区域,所述局部区域的尺寸小于或者等于所述第二参考图像的尺寸;
第三编码模块,用于确定所述第一参考图像中对应区域或者相关区域是否已更新;
当所述第一参考图像中对应区域或者相关区域未更新,且确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域时,用所述第二参考图像中局部区域的像素值替换所述第一参考图像中对应区域或者相关区域的像素值;
第四编码模块,用于将用来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流。
102.根据权利要求101所述的一种编码设备,其特征在于:所述第二编码模块具体用于:
获取所述第二参考图像的待编码图像与所述局部区域具有相同坐标位置的第一区域,以及所述第二参考图像前一帧的待编码图像与所述局部区域具有相同坐标位置的第二区域;
计算所述第一区域与所述第二区域中的所有像素点的均方误差值;
当所述均方误差值小于第四阈值时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
103.根据权利要求101所述的一种编码设备,其特征在于:所述第二编码模块具体用于:
获取所述局部区域的待编码图像进行帧间预测,获得所述局部区域的预测图像;
计算所述局部区域的待编码图像与所述局部区域的预测图像的所有像素点的横轴预测差绝对值和纵轴预测差绝对值之后的平均值;
当所述平均值小于第五阈值时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
104.根据权利要求101所述的一种编码设备,其特征在于:所述第二编码模块具体用于:获取所述第二参考图像中的局部区域的变换系数信息,其中,所述变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和;
当所述局部区域覆盖范围内的变换系数绝对值之和大于第六阈值时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
105.根据权利要求101所述的一种编码设备,其特征在于:所述第二编码模块具体用于:
获取所述第二参考图像中的局部区域的变换系数信息,其中,所述变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和的平均值;
当所述局部区域覆盖范围内的变换系数绝对值之和的平均值大于第七阈值时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
106.根据权利要求101所述的一种编码设备,其特征在于:所述第二编码模块具体用于:
统计所述第二参考图像的局部区域的编码比特数和其前一个被编码区域的编码比特数;
当所述第二参考图像的局部区域的编码比特数大于其前一个被编码区域的编码比特数时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
107.根据权利要求101所述的一种编码设备,其特征在于:所述第二编码模块具体用于:
统计所述第二参考图像的局部区域的编码比特数和其前一被编码帧的区域平均编码比特数;
当所述第二参考图像的局部区域的编码比特数大于其前一被编码帧的区域平均编码比特数时,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
108.根据权利要求101所述的一种编码设备,其特征在于:所述第二编码模块具体用于:
获取所述第二参考图像中的局部区域的运动矢量信息,其中,所述运动矢量信息包括局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值;
当所述局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值均小于第八阈值,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
109.根据权利要求101所述的一种编码设备,其特征在于:所述第二编码模块具体用于:
获取所述第二参考图像中的局部区域运动矢量信息,其中,所述运动矢量信息包括局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,和所述第二参考图像前一已编码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值;
当所述局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值小于所述前一已编码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,确定所述第二参考图像中的局部区域适用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不适用于更新所述第一参考图像中对应区域或者相关区域。
110.根据权利要求101所述的编码设备,其特征在于,所述第四编码模块具体用于:
确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域的标记;
对应,将用来确定所述第二参考图像中的局部区域是否用于更新所述第一参考图像中对应区域或者相关区域的参考图像更新信息编入码流,包括:将所述标记的取值编入码流,当所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,所述标记为第一取值;当所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域,所述标记为第二取值,第一取值不同于第二取值。
111.根据权利要求101所述的编码设备,其特征在于,所述参考图像更新信息,包括:
所述第二参考图像的局部区域的量化参数偏移值;
对应,所述第四编码模块具体用于:将所述量化参数偏移值编入码流,当所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,所述量化参数偏移值的绝对值在第三取值范围内;当所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域,所述量化参数偏移值的绝对值不在第三取值范围内。
112.根据权利要求111所述的编码设备,其特征在于:包括:
所述第三取值范围为大于等于10,且小于20。
113.根据权利要求101所述的编码设备,其特征在于,所述参考图像更新信息,包括:
所述第二参考图像的局部区域的量化步长的缩放因子;
对应,所述第四编码模块具体用于:将所述量化步长的缩放因子编入码流,当所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,所述量化步长的缩放因子在第四取值范围内;当所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域,所述量化步长的缩放因子不在第四取值范围内。
114.根据权利要求113所述的编码设备,其特征在于:所述当所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,所述量化步长的缩放因子在第四取值范围内包括:当所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,所述量化步长的所述缩放因子大于等于0.5,且小于1;或所述缩放因子小于等于1.5,且大于1。
115.根据权利要求101所述的编码设备,其特征在于,所述参考图像更新信息,包括:
所述第二参考图像的局部区域的变换系数信息,其中,所述变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和;
对应,所述第四编码模块具体用于:将所述变换系数信息编入码流,当所述局部区域覆盖范围内的变换系数绝对值之和大于第九阈值,且所述第一参考图像中对应区域或者相关区域没有被更新过,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域。
116.根据权利要求101所述的编码设备,其特征在于,所述参考图像更新信息,包括:
所述第二参考图像的局部区域的变换系数信息,其中,所述变换系数信息包括局部区域覆盖范围内的变换系数绝对值之和的平均值;
对应,所述第四编码模块具体用于:将所述变换系数信息编入码流,当所述局部区域覆盖范围内的变换系数绝对值之和的平均值大于第十阈值,且所述第一参考图像中对应区域或者相关区域没有被更新过,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域。
117.根据权利要求101所述的编码设备,其特征在于,所述参考图像更新信息,包括:
所述第二参考图像的局部区域的运动矢量信息,其中,所述运动矢量信息包括局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值;
对应,所述第四编码模块具体用于:将所述运动矢量信息编入码流,当所述局部区域内的横向运动矢量绝对值之和的平均值和纵向运动矢量绝对值之和的平均值均小于第十一阈值,且所述第一参考图像中对应区域或者相关区域没有被更新过,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域。
118.根据权利要求101所述的编码设备,其特征在于,所述参考图像更新信息,包括:
所述第二参考图像中的局部区域运动矢量信息,其中,所述运动矢量信息包括局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,和所述第二参考图像前一已编码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值;
对应,所述第四编码模块具体用于:将所述运动矢量信息编入码流,当所述局部区域内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值小于所述前一已编码帧内的横向运动矢量绝对值与纵向运动矢量绝对值的和之和的平均值,且所述第一参考图像中对应区域或者相关区域没有被更新过,确定所述第二参考图像中的局部区域用于更新所述第一参考图像中对应区域或者相关区域,否则,确定所述第二参考图像中的局部区域不用于更新所述第一参考图像中对应区域或者相关区域。
119.根据权利要求101所述的编码设备,其特征在于,所述第一编码模块具体用于:
使用固定量化参数编码所述第二参考图像的待编码图像,其中,对于所述局部区域使用第一量化参数,对于非所述局部区域使用第二量化参数。
120.根据权利要求119所述的编码设备,其特征在于,包括:
当第二量化参数大于等于0,且小于10时,第一量化参数为第二量化参数;
当第二量化参数大于等于10,且小于37时,第一量化参数为第二量化参数减5;
当第二量化参数大于等于37,且小于等于51时,第一量化参数为第二量化参数减10。
121.根据权利要求101所述的编码设备,其特征在于,所述第一编码模块具体用于:
使用自适应量化参数编码所述第二参考图像的待编码图像,其中,对于所述局部区域根据纹理信息和运动信息至少其中之一确定量化参数,对于非所述局部区域使用帧级量化参数或者根据编码器规定的码率分配策略或质量控制策略设置确定量化参数。
122.根据权利要求101至121任意一项所述的编码设备,其特征在于:所述第一参考图像中对应区域为所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域。
123.根据权利要求101至121任意一项所述的编码设备,其特征在于:所述第二编码模块还具体用于:当所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域被更新过时,以预定顺序依次搜索所述第一参考图像中的区域,所述第一参考图像中对应区域为所述顺序中的第一块没有被更新过的区域,否则,所述第一参考图像中对应区域为所述第一参考图像中与所述第二参考图像中的局部区域的坐标位置相同的区域。
124.根据权利要求101至121任意一项所述的编码设备,其特征在于:所述参考图像更新信息还包括有所述局部区域所在的坐标位置与所述第一参考图像中相关区域所在的坐标位置之间的空间偏移量,所述空间偏移量包括横向偏移量和纵向偏移量;对应,所述第二编码模块还具体用于:
将所述空间偏移量编入码流。
125.根据权利要求101至121任意一项所述的编码设备,还包括第五编码模块,所述第五编码模块还具体用于:对像素替换后的第一参考图像中对应区域或者相关区域与相邻区域的边界处进行滤波。
126.根据权利要求101至121任意一项所述的编码设备,其特征在于:所述第一参考图像为编码待编码序列获得的第一帧重构图像。
127.根据权利要求101至121任意一项所述的编码设备,其特征在于:所述第一参考图像为编码待编码序列获得的随机访问点图像。
128.根据权利要求101至12任意一项所述的编码设备,其特征在于,所述第二参考图像的局部区域是最大编码单元、编码单元、编码单元组、预设大小的图像区域中的一种。
129.根据权利要求101所述的编码设备,其特征在于,还包括第六模块,所述第六模块具体用于:
检测所述待编码序列;
判断所述第一参考图像是否为场景切换图像;
确定所述第一参考图像特定顺序号;
在编码所述第一参考图像的待编码图像之前或之后,将所述特定顺序号编入码流。
130.根据权利要求101所述的编码设备,其特征在于,所述第一编码模块还具体用于:
确定被所述第二参考图像所更新的所述第一参考图像的特定顺序号;
在编码所述第二参考图像的待编码图像之前或之后,将所述特定顺序号或者与所述特定顺序号关联的号码编入码流。
CN201510392066.4A 2015-07-03 2015-07-03 参考图像编码和解码的方法、编码设备和解码设备 Active CN106331700B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201510392066.4A CN106331700B (zh) 2015-07-03 2015-07-03 参考图像编码和解码的方法、编码设备和解码设备
PCT/CN2016/088144 WO2017005141A1 (zh) 2015-07-03 2016-07-01 参考图像编码和解码的方法、编码设备和解码设备
EP16820792.6A EP3306932A4 (en) 2015-07-03 2016-07-01 Method for encoding and decoding reference image, encoding device, and decoding device
KR1020187001858A KR102094222B1 (ko) 2015-07-03 2016-07-01 참조 영상 인코딩 방법, 참조 영상 디코딩 방법, 참조 영상 인코딩 디바이스 및 참조 영상 디코딩 디바이스
US15/861,218 US10979722B2 (en) 2015-07-03 2018-01-03 Reference image encoding method, reference image decoding method, reference image encoding device, and reference image decoding device
US17/217,808 US11968376B2 (en) 2015-07-03 2021-03-30 Reference image encoding method, reference image decoding method, reference image encoding device, and reference image decoding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510392066.4A CN106331700B (zh) 2015-07-03 2015-07-03 参考图像编码和解码的方法、编码设备和解码设备

Publications (2)

Publication Number Publication Date
CN106331700A CN106331700A (zh) 2017-01-11
CN106331700B true CN106331700B (zh) 2019-07-19

Family

ID=57684732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510392066.4A Active CN106331700B (zh) 2015-07-03 2015-07-03 参考图像编码和解码的方法、编码设备和解码设备

Country Status (5)

Country Link
US (2) US10979722B2 (zh)
EP (1) EP3306932A4 (zh)
KR (1) KR102094222B1 (zh)
CN (1) CN106331700B (zh)
WO (1) WO2017005141A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108243339B (zh) * 2016-12-27 2021-02-26 浙江大学 图像编解码方法及装置
WO2020006690A1 (zh) * 2018-07-03 2020-01-09 深圳市大疆创新科技有限公司 视频处理方法和设备
CN109862360B (zh) * 2019-02-18 2021-09-14 格兰菲智能科技有限公司 图像压缩方法以及图像处理系统
CN109862366B (zh) * 2019-02-18 2021-07-13 格兰菲智能科技有限公司 图像压缩方法以及图像处理系统
CN110062235B (zh) * 2019-04-08 2023-02-17 上海大学 背景帧生成及更新方法、系统、装置及介质
CN114416000B (zh) * 2021-12-29 2024-02-20 上海赫千电子科技有限公司 一种应用于智能汽车的多屏互动方法、多屏互动系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101202913A (zh) * 2006-11-28 2008-06-18 三星电子株式会社 用于编码和解码视频图像的方法和设备
EP2192784A2 (en) * 2004-04-16 2010-06-02 NTT DoCoMo, Inc. Moving picture encoding using a reference frame obtained as weighted average of a previous reference frame and a reconstructed frame
CN103957341A (zh) * 2014-04-30 2014-07-30 华为软件技术有限公司 图片传输的方法及其相关设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0718951A2 (pt) * 2006-12-28 2013-12-17 Thomson Licensing Método e aparelho para análise automática de artefatos visuais e redução de artefatos
CN101272494B (zh) 2008-01-25 2011-06-08 浙江大学 利用合成参考帧的视频编解码方法及装置
JP5446878B2 (ja) 2008-02-14 2014-03-19 日本電気株式会社 更新領域検出装置
JP5132530B2 (ja) * 2008-02-19 2013-01-30 キヤノン株式会社 画像符号化装置及び画像処理装置及びそれらの制御方法
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
JP2011210139A (ja) 2010-03-30 2011-10-20 Sony Corp 画像処理装置および方法、並びにプログラム
CN101883284B (zh) 2010-06-21 2013-06-26 北京大学 基于背景建模和可选差分模式的视频编/解码方法及系统
CN102006473B (zh) * 2010-11-18 2013-03-13 无锡中星微电子有限公司 视频编码器和编码方法以及视频解码器和解码方法
US9661325B1 (en) * 2012-02-17 2017-05-23 Polycom, Inc. Lossy channel video blur avoidance
KR102209447B1 (ko) * 2013-02-15 2021-02-01 삼성전자주식회사 전자장치 및 전자장치의 객체인식방법
WO2015085575A1 (en) * 2013-12-13 2015-06-18 Mediatek Singapore Pte. Ltd. Methods for background residual prediction
US9807411B2 (en) * 2014-03-18 2017-10-31 Panasonic Intellectual Property Management Co., Ltd. Image coding apparatus, image decoding apparatus, image processing system, image coding method, and image decoding method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2192784A2 (en) * 2004-04-16 2010-06-02 NTT DoCoMo, Inc. Moving picture encoding using a reference frame obtained as weighted average of a previous reference frame and a reconstructed frame
CN101202913A (zh) * 2006-11-28 2008-06-18 三星电子株式会社 用于编码和解码视频图像的方法和设备
CN103957341A (zh) * 2014-04-30 2014-07-30 华为软件技术有限公司 图片传输的方法及其相关设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hybrid transform for HEVC-based lossless coding;陈方栋等;《2014 IEEE International Symposium on Circuits and Systems (ISCAS)》;20140728;第1-4页
一种针对MPEG-4 AVC/H.264的用于快速码流生成的运动信息描述算法;王毅等;《计算机学报》;20070630;第1005-1013页

Also Published As

Publication number Publication date
KR20180019215A (ko) 2018-02-23
US11968376B2 (en) 2024-04-23
EP3306932A1 (en) 2018-04-11
US20180131948A1 (en) 2018-05-10
US20210289214A1 (en) 2021-09-16
KR102094222B1 (ko) 2020-03-27
EP3306932A4 (en) 2018-10-24
US10979722B2 (en) 2021-04-13
CN106331700A (zh) 2017-01-11
WO2017005141A1 (zh) 2017-01-12

Similar Documents

Publication Publication Date Title
CN106331700B (zh) 参考图像编码和解码的方法、编码设备和解码设备
KR102138931B1 (ko) 이미지 예측 방법 및 장치
CN102883159B (zh) 图像编码方法以及图像解码方法
CN103248893B (zh) 从h.264/avc标准到hevc标准的快速帧间转码方法及其转码器
CN105900420B (zh) 选择运动向量精度
JP5259608B2 (ja) 映像符号化における参照フレームのサーチを軽減する装置及び方法
CN1981531B (zh) 构建用于时间可分级的双向预测帧的方法和装置
CN103797800B (zh) 推导参考模式值以及编码和解码表示预测模式的信息
CN109076243A (zh) 用于对变换数据进行编码的系统和方法
TW201919402A (zh) 視訊圖像編碼和解碼的方法、裝置及設備
CN109845255A (zh) 用于将解块滤波器应用于重构视频数据的系统和方法
MXPA06002525A (es) Codificacion y descodificacion para video entrelazado.
US20050129125A1 (en) Method and apparatus for pitcure compression using variable block of arbitrary size
CN103442228B (zh) 从h.264/avc标准到hevc标准的快速帧内转码方法及其转码器
CN105898300B (zh) 一种基于恢复变换系数的改进变换系数符号位隐藏方法
CN107431816A (zh) 低复杂度样本自适应偏移(sao)译码
CN107409212A (zh) 用于编码和解码的使用变换系数的逐渐更新
CN104539970A (zh) 一种3d-hevc帧间编码合并模式快速决策方法
CN102696226B (zh) 复用码流信息的h264转码方法
CN104135662B (zh) 用于在有限带宽和发射速率条件下对视频文件的改进型h.264压缩编码方法
Kondo et al. Tree structured hybrid intra prediction
CN101277449A (zh) 一种264视频以任意比例降低分辨率的像素域转码的方法
JP2009510822A (ja) ビデオ誤り隠蔽を改善するための符号化/復号化方法及び装置
Patnaik et al. H. 264/AVC/MPEG video coding with an emphasis to bidirectional prediction frames
CN113055670B (zh) 一种基于hevc/h.265的视频编码的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant