CN101151905A - 用于局部调整量化阶的方法 - Google Patents

用于局部调整量化阶的方法 Download PDF

Info

Publication number
CN101151905A
CN101151905A CNA2006800107500A CN200680010750A CN101151905A CN 101151905 A CN101151905 A CN 101151905A CN A2006800107500 A CNA2006800107500 A CN A2006800107500A CN 200680010750 A CN200680010750 A CN 200680010750A CN 101151905 A CN101151905 A CN 101151905A
Authority
CN
China
Prior art keywords
quantization step
region
bits
interest
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800107500A
Other languages
English (en)
Other versions
CN101151905B (zh
Inventor
莱拉·于格内尔
多米尼克·索罗
奥利弗·勒默尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101151905A publication Critical patent/CN101151905A/zh
Application granted granted Critical
Publication of CN101151905B publication Critical patent/CN101151905B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种相对于设定点(setpoint)量化阶来对图像中的每个区域的量化阶进行局部调整的方法。所述方法包括以下步骤:-给所述感兴趣区域分配(20)小于或等于所述设定点量化阶(QP*)的第一量化阶(QP_ROI_MINj);-确定(22)大于或等于所述设定点量化阶(QP*)并且小于或等于第三量化阶(QP_POT_MAXj)的第二量化阶(QP_POTj),使得感兴趣区域所需要的比特数小于在潜在的掩蔽区域上所节省的比特数;以及-当这种第二量化阶存在时,将所述第二量化阶(QP_POTj)分配(22)给所述潜在的掩蔽区域,否则将所述第三量化阶(QP_POT_MAXj)分配给所述潜在的掩蔽区域。

Description

用于局部调整量化阶的方法
技术领域
本发明涉及一种用于对图像中的每个区域的量化阶进行局部调整的方法。
背景技术
本发明应用于视频压缩领域,具体为选择性压缩。对具有感兴趣区域的图像进行选择性压缩的任何方法都包括两种机制:先验选择机制和先验压缩机制:
-对信息的选择是视觉注意机制,该机制定义了图像中所包含的感兴趣事件的位置以及这些事件相互间的相对重要性;
-先验压缩机制表征了图像的特性和编码以及针对编码资源(即,比特率或质量)的分配准则。
任何压缩方法都包括用于对要编码的数据进行量化的量化方法。更具体地,本发明涉及对图像中的每个区域的量化阶的局部调整。根据传统方法,针对每个宏块(或针对每个像素块),根据其在图像内的心理视觉重要性来执行量化阶的局部调整。这些方法具体用于加强对较不重要的宏块的量化,以及相反地,通过减少关联的量化阶来保护重要的宏块(即吸引注意的宏块)。然而,通过使用这些方法,重要宏块的重构质量(即解码之后的质量)可以在从一个图像到下一个图像之间剧烈变化,这是对于观察者而言是一个问题。此外,重构质量还会在感兴趣区域内变化。
发明内容
本发明的目的是解决现有技术中的至少一个缺点。本发明涉及一种用于相对于设定点(setpoint)量化阶(quantization step)(QP*)来对图像中的量化阶进行局部调整的方法。该图像包括至少一个感兴趣区域和一个潜在的掩蔽(masking)区域,每个区域都可能包括多个不相交的像素组。当以设定点量化阶(QP*)对感兴趣区域和潜在的掩蔽区域进行量化时,分别以第一和第二比特数对该感兴趣区域和潜在的掩蔽区域进行编码。根据本发明,该方法包括以下步骤:
-将大于或等于设定点量化阶(QP*)的第一量化阶(QP_ROI_MINj)分配给感兴趣区域,当以第一量化阶对感兴趣区域进行量化时,以第三比特数对该感兴趣区域进行编码;
-确定大于或等于设定点量化阶(QP*)并且小于或等于第三量化阶(QP_POT_MAXj)的第二量化阶(QP_POTj),使得第三和第一比特数之差小于或等于第二比特数和第四比特数之差,第四比特数等于用于对以第二量化阶所量化的潜在的掩蔽区域进行编码的比特数;以及
-当这种第二量化阶存在时,将第二量化阶(QP_POTj)分配给潜在的掩蔽区域,否则将第三量化阶(QP_POT_MAXj)分配给潜在的掩蔽区域。
根据特定实施例,在将第一量化阶(QP_ROI_MINj)用于对感兴趣区域进行编码时,预先确定第一量化阶(QP_ROI_MINj),以便保证该感兴趣区域的预定重构质量(PSNRmax ROI)。在将第三量化阶(QP_POT_MAXj)用于对潜在的掩蔽区域进行编码时,预先确定第三量化阶(QP_POT_MAXj),以便保证该潜在的掩蔽区域的预定重构质量(PSNRmin POT)。
根据另一个实施例,该图像还包括可能包括不相交的像素组的中性区域,将设定点量化阶(QP*)分配给该中性区域。
根据特定实施例,该图像属于图像序列,将本方法应用于该序列中的每个图像。
优选地,针对该序列的当前图像,在以下情况下分配给潜在的掩蔽区域的第二量化阶的值增大:
-第四比特数和第五比特数之比小于预定阈值,第五比特数等于用于以增大的第二量化阶对潜在的掩蔽区域进行编码的比特数;以及
-增大的第二量化阶小于或等于第三量化阶(QP_POT_MAXj)。
有利地,将等于第四比特数和第五比特数之差的比特数部分地或全部地用于对序列的另一个图像中的感兴趣区域进行编码。
本发明涉及一种用于对图像序列进行编码的方法,该方法包括用于以一组系数对图像进行变换的步骤、按照量化阶对每个系数进行量化的步骤、以及对量化后的系数进行编码的步骤,其中根据上述方法该对量化阶进行局部调整。
本发明还涉及一种用于对n个图像的序列进行编码的编码设备,该图像包括至少一个感兴趣区域和一个潜在的掩蔽区域。该设备包括:
-装置,用于以一组系数对图像进行变换;
-量化装置,用于以量化阶来对该系数进行量化,在序列的每个图像中,相对于设定点量化阶(QP*)来对该量化阶进行局部调整,当以设定点量化阶(QP*)来对感兴趣区域和潜在的掩蔽区域进行量化时,以第一和第二比特数对该感兴趣区域和潜在的掩蔽区域进行编码;以及
-编码装置,用于对量化后的系数进行编码。
根据本发明,该量化装置包括:
-装置,用于将小于或等于设定点量化阶(QP*)的第一量化阶(QP_ROI_MINj)分配给感兴趣区域,当以第一量化阶对感兴趣区域进行量化时,以第三比特数对该感兴趣区域进行编码;
-装置,用于确定大于或等于设定点量化阶(QP*)并且小于或等于第三量化阶(QP_POT_MAXj)的第二量化阶(QP_POTj),使得第三和第一比特数之差小于或等于第二比特数和第四比特数之差,第四比特数等于用于对以第二量化阶所量化的潜在掩蔽区域进行编码的比特数;以及
-装置,用于当这种第二量化阶存在时,将第二量化阶(QP_POTj)分配给潜在的掩蔽区域,否则将第三量化阶(QP_POT_MAXj)分配给潜在的掩蔽区域。
优选地,该编码设备还包括用于给量化装置提供设定点量化阶(QP*)的速率控制装置。
附图说明
参考附图,示例性实施例和有利实施方式非限制性地例证了本发明,并且本发明可被更好地理解,在附图中:
-图1示出了根据本发明的用于改变每个区域的量化阶的方法;
-图2示出了根据本发明的用于在同一个图像的不同区域之间重新分配比特的方法;
-图3表示用于实现根据本发明的方法的视频编码设备。
具体实施方式
本发明涉及一种用于相对于设定点量化阶(QP*)来对图像的每个感兴趣区域(即吸引更多注意的区域)的量化阶进行局部调整的方法。作为多个图像的序列中的一部分的图像由像素块组成。在对量化阶进行局部适配的方法中,通过以图像中的其他区域为代价,以有利于空间感兴趣区域,提高了针对给定的总比特率所涉及的区域的视觉质量。基于对图像中的感兴趣区域的选择,根据对这些区域的兴趣来局部调整量化阶。以这样的方式来执行该调整,以便加强对较不重要的区域的压缩,并沿着该序列将可能尚未使用的编码资源(即比特数)重新分配给感兴趣区域。这种将比特从一个图像重新分配给另一个图像的重新分配使得可以获得对于感兴趣区域更加稳定的重构质量(即解码后的质量)等级。
更具体地,根据本发明的方法可以用于将比特率从非感兴趣区域转移到感兴趣区域。为此,所提出的解决方案对于图像中的每个区域的量化阶QP使用变化或者使用量化阶的局部调整。该调整是相对于表示为QP*的量化阶的值的初始设定点(例如,从针对每个图像的比特率调整中导出的)而进行的,QP*与设定点比特率D*相对应。更具体地,根据本发明,根据视觉感兴趣区域来修改图像中的每个区域的量化阶。量化阶的正变差(positive variation)提供了更强的压缩,即以损失质量为代价来节省比特率。负变差(negative variation)提供了更精细的压缩,即以增加编码成本为代价来提高重构质量。
因此,本发明需要关于内容的先验信息的知识。由根据本发明的方法所使用的先验信息分成两类。关于内容的第一类先验信息涉及吸引更多注意的区域(所谓感兴趣区域)在序列的每个图像中的位置。该区域可以由不相交的像素块的组构成。该信息可以由二进制兴趣映射(map)I给出,对于图像中的每个块bi,I指示出人类视觉系统的感兴趣等级:针对感兴趣块bi,I(bi)=1,针对不感兴趣块bi,I(bi)=0。例如,这个映射可以通过对显著性映射(saliency map)取阈值而获得。显著性映射是对于图像中的每个像素指示出感知兴趣的映射。可以通过考虑多种信息(例如运动信息)来构造该映射。与像素相关联的值越大,该像素越引人注意。为了获得每个块的显著性值,针对给定块,可以对与属于该块的像素相关联的值进行平均,或者取显著性值的中间值。一般地说,本发明可以应用于非二进制感兴趣映射的情况,其针对每个块bi表征了其感兴趣等级。关于内容的第二类先验知识涉及对视觉假象(artifact)具有很强的掩蔽能力的区域在序列的每个图像中的位置。该区域可以由不相交的像素块的组构成。用于数字视频系统中的有损压缩方法产生假象,该假象的可见度很大程度上取决于所处理的图像的内容。对比度掩蔽效果将信号可见度的这种修改转化为另一个信号的存在。这种修改可以在可见度阈值减少的方向(促进)上,或者在可见度阈值增加的方向(掩蔽)上进行。为了限制作为非感兴趣区域的一部分的块中的新伪像的出现,也由二进制映射P给出关于内容的先验知识,二进制映射P对于每个块bi,指示出视觉掩蔽能力:针对具有较强掩蔽能力的块,P(bi)=1;针对具有较弱掩蔽能力的块,P(bi)=0。例如,这个映射可以通过对活动映射(activity map)取阈值而获得。活动映射是指示给定块的活动等级的映射。例如,该等级可以通过测量该块的变化量(variance)来计算。在本文的其余部分,将具有较强掩蔽能力的图像中的非感兴趣块bi的集合称为“潜在的掩蔽区域”。将不属于潜在的掩蔽区域的非感兴趣块bi的集合称为“中性区域”。将分别涉及感兴趣区域的位置和具有较强掩蔽能力的区域的位置的两个二进制映射相结合,以获得用于对量化阶进行局部调整以及与图像中的每个块bi相关联的单个映射Ifinal,Ifinal具有值0、1或2,如下所示:
Figure A20068001075000101
其中:
-Ifinal是传送给编码器的新映射,指示了将比特转移应用于其中的感兴趣区域以及潜在的掩蔽区域;
-P是定义了潜在的掩蔽区域的二进制映射;以及
-I是定义了感兴趣和非感兴趣区域的二进制映射。
该方法还利用针对每个感兴趣区域和潜在的掩蔽区域所指定的PSNR(QP)曲线(作为量化阶的函数来表示最大信躁比的曲线)和NbBit(QP)曲线(作为量化阶的函数来表示比特数的曲线)。PSNR是用于表征图像质量的准则。在这种情况下,将PSNR用于表征对图像、图像中的块或区域进行解码后的重构质量。然后,对PSNR进行如下定义:
PSNR= - 10 log 10 ( ( SSE ) N · M · 255 2 )
其中,SSE是均方误差之和。SSE是针对块,对与源图像中的像素相关联的值和与重构图像(即,解码图像)中的相应像素相关联的值之间的逐像素之差求和所定义的。
根据本发明,可以使用其他质量准则。在将比特从图像的某些区域重新分配到其他区域之前,针对序列中的每个图像j都需要学习步骤,以便在值QP*周围构造上面所定义的曲线的部分。曲线的这些部分还可以由外部装置来提供,例如通过数据文件来提供。本发明在于:通过使用三个不同的量化阶:QP*-L、QP*+K和QP*,对属于图像的感兴趣区域或潜在的掩蔽区域的每个像素块(例如,大小为16×16个像素的宏块)进行编码。在对属于感兴趣区域的编码块进行重构(即解码)之后,针对给定量化阶值(QP*-L、QP*+K和QP*),对与这些块相关的数据(PSNR和NbBit)进行平均,以获得针对图像j中的感兴趣区域以及针对三个量化阶值中的每个值的PSNRj ROI值和比特数值(NbBitj ROI)。类似地,对与属于潜在掩蔽区域的块相关的数据进行平均,以获得针对图像j中的潜在掩蔽区域以及针对三个量化阶值中的每个值的PSNRj ROI值和比特数值(NbBitj ROI)。然后通过三个值QP*-L、QP*+K和QP*之间的线性内插对曲线PSNRj(QP)和NbBitj(QP)进行内插,以便针对图像j获得:针对感兴趣区域,获得曲线PSNRj ROI(QP)和曲线NbBitj ROI(QP),以及针对潜在的掩蔽区域,获得曲线PSNRj POT(QP)和曲线NbBitj POT(QP)。
比特的转移或重新分配(图像“内”的重新分配)原理在于:加强(相对于基于设定点量化阶QP*的初始编码)对属于潜在的掩蔽区域的块的压缩,并使用未用于对潜在的掩蔽区域进行编码的比特来对感兴趣区域进行编码(与比特数NbBitj POT(QP*)相比)。假设考虑了与潜在的掩蔽区域相关联的重构质量的最小预定值PSNRmin POT(例如20dB),根据该方法,可以使用更强的量化阶来对潜在的掩蔽区域的块进行量化。类似地,针对感兴趣区域来设置重构质量的最大预定值PSNRmax ROI(例如35dB)。这些值可以自动或手动设置(例如,由操作者设置)。根据本发明的方法在于:在小心保持以使序列的总比特率与设定点比特率D*大体相似的同时,通过将比特从潜在的掩蔽区域转移到感兴趣区域来对量化阶进行局部调整。比特的重新分配必然取决于从一个图像到另一个图像。根据本发明,还可以执行对序列的图像之间的比特的临时转移(图像“间”的重新分配)。比特的临时贮存需要将尚未用于对图像进行编码的比特保留在临时贮存(temporalreserve)中,(如果必要的话)以便将其用于对随后图像中的感兴趣区域进行编码。可将临时贮存看作是比特计数器。有利地,在图像等级所分配的比特率可以在不同图像之间变化。实际上,有时可以将来自潜在的掩蔽区域的尚未用于对同一图像中的感兴趣区域进行编码的比特保留在临时贮存中。相反地,当从潜在的掩蔽区域中节省的比特数不足以对感兴趣区域的质量限制作出响应时,允许使用外部比特(源自临时贮存的比特)来对当前图像进行编码,这不可避免地增加了图像的比特率。实际上,只允许图像等级的比特率相对于与所述图像相关联的设定点比特率(即,当以量化阶QP*对图像进行编码时与图像相关联的比特率)变化一定的百分比(例如20%),以避免图像使用所有的外部比特。针对选择性压缩系统中所包括的每个区域(即感兴趣区域和潜在的掩蔽区域),定义针对量化阶的一组所谓的有效值。根据PSNR(QP)曲线(针对每个区域所建模)来确定这些值,以便考虑满足PSNR需求的重构质量,即在潜在的掩蔽区域和感兴趣区域中分别为最小值和最大值。针对图像j中的潜在的掩蔽区域,可以分配给潜在的掩蔽区域的量化阶的值在设定点值QP*和可以保证最小重构质量PSNRmax ROI的最大值(表示为QP_POT_MAXj)之间变化。相同的原理应用于感兴趣区域。可以分配给图像j的感兴趣区域的量化阶的值在可以实现当前的最大重构质量PSNRmax ROI的量化阶的最小值(表示为QP_ROT_MINj)和设定点值QP*之间变化。
因此,根据本发明的方法包括两个步骤:在第一步骤中,在当前图像j内执行对潜在的掩蔽区域QP_POTj和感兴趣区域QP_ROIj中的量化阶的调整(或图像“内”重新分配),以便达到质量和比特率的限制。在第二步骤中,根据该分布的结果,可以设想对未用于过去图像的编码的比特进行转移(图像“间”再分布)。在确定可以满足重构质量限制的针对潜在的掩蔽区域和感兴趣区域的量化阶的值的范围之后,一起调整潜在的掩蔽区域的量化阶和感兴趣区域的量化阶:
-针对感兴趣区域:使用量化阶的最小值QP_ROI_MINj,(如果必要的话)增大该量化阶直到获得由源自潜在的掩蔽区域以及适当的时候源自临时贮存的比特转移所产生的质量等级为止,
-针对潜在的掩蔽区域:逐渐增大量化阶的值,直到可以对感兴趣区域的比特需求进行补偿以及在适当的时候可以充满临时贮存为止。
下面通过图1和图2对图像“内”比特重新分布方法进行描述和例证。该方法可以在两种特定的重新分布状态下完结,随后在文中对这两种特定状态进行描述。使用两个变量,“重新分布”和“收集”,这两个变量可以是两个值:OK或not OK。
步骤20:初始化
重新分布=not OK
收集=not OK
//曲线NbBitjROI(QP)的轨迹
QP_ROIj=QP_ROI_MINj
QP_POTj=QP*
while重新分布=not OK并且QP_ROIj<QP*
   DO
    步骤21:感兴趣区域所需要的比特资源
    D_ROI(QP_ROIj)=NbBitj ROI(QP_ROIj)-NbBitj ROI(QP*)
    步骤22:图像内重新分布(为了满足比特率限制)
            //曲线NbBitjPOT(QP)的轨迹
            QP_POTj=QP*+1
            while收集=not OK并且QP_POTj<=QP_POT_MAXj
                DO
                步骤220:在潜在的掩蔽区域上所节省的比特资源
                G_POT(QP_POTj)=NbBitj POT(QP*)-
NbBitjPOT(QP_POTj)
                如果G_POT(QP_POTj)>=D_ROI(QP_ROIj)
                则收集=OK
                否则QP_POTj=QP_POTj+1(寻找更高的压缩)
                End Do
            End While
       则收集=OK
    那么状态1
   否则状态2
  EndDo
End While
状态1:当针对每个区域的调整使得可以获得潜在掩蔽区域的有效量化阶(即,在QP*和QP_POT_MAXj之间)时,达到状态1,可以对来自感兴趣区域的比特需求进行响应,即达到当前最大重构质量等级的值PSNRmax ROI。换言之,可以将在潜在的掩蔽区域上所节省的比特数用于增强感兴趣区域。
此外,为了执行对临时比特转移,只要可能,则必需将比特馈入临时贮存。因此,强制使潜在的掩蔽区域的量化阶为大于之前所确定的值,以便使需要用于对图像进行编码的比特数减少不超过20%。
状态2:针对感兴趣区域的给定质量等级,当潜在的掩蔽区域的量化阶的最大值使得不可能重新获得足够的比特来重新分配给感兴趣区域时,达到状态2。在一定条件下,除了从潜在的掩蔽区域中转移的那些比特以外,所必须增加的比特数可以从临时比特贮存中重新获得。
如图1所示,当预期在潜在的掩蔽区域上所节省的比特率的最大值没有可能对感兴趣区域的质量需求做出响应时,对临时转移的比特进行重新分布。然后,使用可能没有用于对之前已处理的图像进行编码并已馈入临时贮存的比特,对当前潜在的掩蔽区域所无法提供的比特数进行补偿是必要的。如果观察到以下情况,则准许23从临时贮存转移比特:
-在临时贮存内有感兴趣区域所需要的“外部”比特数D_ROI;
-对“外部”比特的需求必须不超过图像的初始比特率的20%(与通过QP*对图像所进行的量化相对应),以便遵守图像比特率的变化限制。
如果满足这两个条件,则允许访问临时比特贮存,然后可以给感兴趣区域提供高质量等级。否则,重新分布过程全部重新开始,但是具有针对感兴趣区域所限制的最大重构质量,该最大重构质量低于当前的最大重构质量等级,即,例如QP_ROIj增大1。基于图像“内”重新分布或基于图像“间”重新分布,当满足感兴趣区域的需求时,局部调整量化阶的方法停止。与从完全的图像“内”重新发布中所获得的质量等级相比,临时比特率重新分布使得可以实现较高的质量等级。能够临时对来自潜在掩蔽区域的选择性压缩的比特进行重新分布,也使得可以获得针对感兴趣区域的更稳定的质量等级。
针对中性区域中的块或宏块(MB),认为它们相对于选择性编码策略是中性的,即分配给这些块的量化阶与设定点量化阶QP*相对应,即不存在对量化阶的局部适配。
本发明还涉及一种用于实现根据本发明的量化方法的编码方法,该编码方法用于对n个图像的序列进行编码。因此,该编码方法包括:用于以一组系数(例如使用DCT)来对序列中的n个图像进行变换的步骤;用于按照量化阶对所述系数进行量化的步骤,根据上述方法在序列的n个图像内对该量化阶进行局部调整;以及用于对所述量化后的系数进行编码的过程(例如使用熵编码处理)。
本发明还涉及一种如图3所示的编码设备10,用于对图像序列进行编码。在图3中只描述了重要的模块,并在下文中对其进行描述。该编码设备包括模块110,用于以一组系数(例如DCT系数)对该编码设备的输入端处的源图像进行变换。例如,模块110实现DCT变换。然后,由量化模块120对该系数进行量化,以获得量化后的系数。量化模块120适用于实现根据本发明的对量化阶进行局部调整的方法。然后,通过本领域技术人员所知的编码模块130(例如熵编码器)对量化后的系数进行编码。根据特定实施例,编码设备10包括速率控制模块140。模块140能够给量化模块120提供设定点量化阶QP*
当然,本发明并不局限于上面所提到的实施例。具体地,本领域的技术人员可以对所公开的实施例进行任何改变,并使其结合以产生有益效果。可以将传统PSNR之外的准则用于表征图像、像素的块或图像中的区域的重构质量,例如根据变化加权的PSNR、基于心理学视觉模型的准则。类似地,曲线PSNR(QP)和NbBit(QP)可以由所述装置以外的装置所获得。因此,可以使用多于三个的量化阶来对曲线进行内插。类似地,可以使用另一类型内插,例如多项式内插。还可以设想将之前已编码的图像用于从中推导出与当前图像中的感兴趣区域和掩蔽区域相关联的曲线。
兴趣映射可以是表征了图像中的每个块的较高或较低的兴趣等级的非二进制映射。可以将这些映射用于定义图像中的多个感兴趣区域,根据其感兴趣等级给每个区域重新分配比特。
编码设备10还可以包括诸如运动估值器、编码模式判决模块之类的其他模块。

Claims (10)

1.一种用于相对于设定点量化阶(QP*)来对图像中的量化阶进行局部调整的方法,所述图像包括至少一个感兴趣区域和一个潜在的掩蔽区域,所述区域中的每个都可能包括多个不相交的像素组,当以所述设定点量化阶(QP*)对所述感兴趣区域和潜在的掩蔽区域进行量化时,分别以第一和第二比特数对所述感兴趣区域和潜在的掩蔽区域进行编码,所述方法的特征在于包括以下步骤:
-给所述感兴趣区域分配(20)小于或等于所述设定点量化阶(QP*)的第一量化阶(QP_ROI_MINj),当以所述第一量化阶对所述区域进行量化时,以第三比特数对所述区域进行编码;
-确定(22)大于或等于所述设定点量化阶(QP*)并且小于或等于第三量化阶(QP_POT_MAXj)的第二量化阶(QP_POTj),使得所述第三和第一比特数之差小于或等于所述第二比特数和第四比特数之差,所述第四比特数等于用于对以所述第二量化阶所量化的所述潜在的掩蔽区域进行编码的比特数;以及
-当这种第二量化阶存在时,将所述第二量化阶(QP_POTj)分配(22)给所述潜在的掩蔽区域,否则将所述第三量化阶(QP_POT_MAXj)分配给所述潜在的掩蔽区域。
2.如权利要求1所述的方法,其中,预先确定所述第一量化阶(QP_ROI_MINj),以便在将所述第一量化阶(QP_ROI_MINj)用于对所述感兴趣区域进行编码时保证所述感兴趣区域的预定重构质量(PSNRmax ROI)。
3.如权利要求1或2所述的方法,其中,预先确定所述第三量化阶(QP_POT_MAXj),以便在将所述第三量化阶(QP_POT_MAXj)用于对所述潜在的掩盖区域进行编码时保证所述潜在的掩盖区域的预定重构质量(PSNRmin POT)。
4.如权利要求1到3的任意之一所述的方法,其中,所述图像还包括可能包括不相交的像素组的中性区域,将所述设定点量化阶(QP*)分配给所述中性区域。
5.如权利要求1到4的任意之一所述的方法,其中,所述图像属于图像序列,将所述方法应用于所述序列中的每个图像。
6.如权利要求5所述的方法,其中,针对所述序列的当前图像,在以下情况下,分配给所述潜在的掩蔽区域的第二量化阶的值增大(状态1):
-第四比特数和第五比特数之比小于预定阈值,所述第五比特数等于用于以所述增大的第二量化阶对所述潜在的掩蔽区域进行编码的比特数;以及
-所述增大的第二量化阶小于或等于所述第三量化阶(QP_POT_MAXj)。
7.如权利要求6所述的方法,其中,将等于第四比特数和第五比特数之差的比特数部分或全部地(状态2)用于对所述序列中的另一个图像的感兴趣区域进行编码。
8.一种用于对图像序列进行编码的方法,包括:用于以一组系数对所述图像进行变换的步骤、按照量化阶对所述系数中的每个进行量化的步骤、以及对所述量化后的系数进行编码的步骤,其中根据权利要求5到7的任意之一来对所述量化阶进行局部调整。
9.一种用于对n个图像的序列进行编码的编码设备(10),所述图像包括至少一个感兴趣区域和一个潜在的掩蔽区域,所述区域中的每个可能包括多个不相交的像素组,所述设备(10)包括:
-装置(110),用于以一组系数对所述图像进行变换;
-量化装置(120),用于以量化阶对所述系数进行量化,在所述序列的每个图像中,相对于设定点量化阶(QP*)来对所述量化阶进行局部调整,当以所述设定点量化阶(QP*)来对所述感兴趣区域和潜在的掩蔽区域进行量化时,分别以第一和第二比特数对所述感兴趣区域和潜在的掩蔽区域进行编码;
-编码装置(130),用于对所述量化后的系数进行编码;
所述编码设备(10)的特征在于,所述量化装置(120)包括:
-装置,用于将小于或等于所述设定点量化阶(QP*)的第一预定量化阶(QP_ROI_MINj)分配给所述感兴趣区域,当以所述第一量化阶来对所述区域进行量化时,以第三比特数对所述区域进行编码;
-装置,用于确定大于或等于所述设定点量化阶(QP*)并且小于或等于第三量化阶(QP_POT_MAXj)的第二量化阶(QP_POTj),使得所述第三和第一比特数之差小于或等于第二比特数和第四比特数之差,所述第四比特数等于用于对以所述第二量化阶所量化的所述潜在的掩蔽区域进行编码的比特数;以及
-装置,当这种第二量化阶存在时将所述第二量化阶(QP_POTj)分配给所述潜在的掩蔽区域,否则将所述第三量化阶(QP_POT_MAXj)分配给所述潜在的掩蔽区域。
10.如权利要求9所述的编码设备还包括速率控制装置(140),所述速率控制装置(140)给所述量化装置(120)提供所述设定点量化阶(QP*)。
CN2006800107500A 2005-04-04 2006-03-16 用于局部调整量化阶的方法和对n个图像的序列进行编码的编码设备 Expired - Fee Related CN101151905B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0550880 2005-04-04
FR0550880 2005-04-04
PCT/EP2006/060799 WO2006106030A1 (en) 2005-04-04 2006-03-16 Method for locally adjusting a quantization step

Publications (2)

Publication Number Publication Date
CN101151905A true CN101151905A (zh) 2008-03-26
CN101151905B CN101151905B (zh) 2012-11-28

Family

ID=36406083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800107500A Expired - Fee Related CN101151905B (zh) 2005-04-04 2006-03-16 用于局部调整量化阶的方法和对n个图像的序列进行编码的编码设备

Country Status (6)

Country Link
US (1) US8139881B2 (zh)
EP (1) EP1867174B1 (zh)
JP (1) JP5123166B2 (zh)
KR (1) KR101238487B1 (zh)
CN (1) CN101151905B (zh)
WO (1) WO2006106030A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108206951A (zh) * 2016-12-20 2018-06-26 安讯士有限公司 对包括隐私遮挡的图像进行编码的方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101979379B1 (ko) * 2011-08-25 2019-05-17 삼성전자주식회사 영상의 부호화 방법 및 장치, 및 영상의 복호화 방법 및 장치
WO2016040939A1 (en) * 2014-09-12 2016-03-17 Tmm, Inc. Systems and methods for subject-oriented compression
KR102636099B1 (ko) 2016-12-22 2024-02-13 삼성전자주식회사 양자화 파라미터를 조절하는 비디오 인코딩을 위한 장치 및 방법
WO2022154342A1 (en) * 2021-01-12 2022-07-21 Samsung Electronics Co., Ltd. Methods and electronic device for processing image
KR20220132155A (ko) * 2021-03-23 2022-09-30 삼성전자주식회사 전자 장치 및 최대 양자화 값 가감을 통한 인코딩 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529631B1 (en) * 1996-03-29 2003-03-04 Sarnoff Corporation Apparatus and method for optimizing encoding and performing automated steerable image compression in an image coding system using a perceptual metric
US6445739B1 (en) * 1997-02-08 2002-09-03 Matsushita Electric Industrial Co., Ltd. Quantization matrix for still and moving picture coding
US6256423B1 (en) * 1998-09-18 2001-07-03 Sarnoff Corporation Intra-frame quantizer selection for video compression
US6490319B1 (en) * 1999-06-22 2002-12-03 Intel Corporation Region of interest video coding

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108206951A (zh) * 2016-12-20 2018-06-26 安讯士有限公司 对包括隐私遮挡的图像进行编码的方法
CN108206951B (zh) * 2016-12-20 2022-04-15 安讯士有限公司 对包括隐私遮挡的图像进行编码的方法

Also Published As

Publication number Publication date
US8139881B2 (en) 2012-03-20
JP5123166B2 (ja) 2013-01-16
EP1867174B1 (en) 2016-05-04
JP2008535344A (ja) 2008-08-28
US20090122862A1 (en) 2009-05-14
KR20080005195A (ko) 2008-01-10
WO2006106030A1 (en) 2006-10-12
EP1867174A1 (en) 2007-12-19
CN101151905B (zh) 2012-11-28
KR101238487B1 (ko) 2013-03-04

Similar Documents

Publication Publication Date Title
US8139882B2 (en) Method for locally adjusting a quantization step and coding device implementing said method
US6256423B1 (en) Intra-frame quantizer selection for video compression
US6587508B1 (en) Apparatus, method and computer program product for transcoding a coded moving picture sequence
JP5854439B2 (ja) 適応セグメンテーションを用いた動画符号化システムおよび方法
US9565436B2 (en) Method for filter control and a filtering control device
US5969764A (en) Adaptive video coding method
JP3818679B2 (ja) 一連の画像を表わすディジタル信号を符号化する方法および装置
US20070025621A1 (en) Coding device, coding method, decoding device, decoding method, and programs of same
JP2005236990A (ja) リアルタイム複雑性適応及び注目画像領域コーディング付きビデオコーデックシステム
CN1247670A (zh) 编码系统中用于优化速率控制的装置和方法
CN101151905A (zh) 用于局部调整量化阶的方法
JPH09200758A (ja) 画像符号化装置
CN103843338A (zh) 帧内编码图像块的自适应量化
CN113630599B (zh) 一种基于roi的视频码率控制方法及系统
WO2022217417A1 (zh) 编解码方法、编码器、解码器以及存储介质
CN112165618B (zh) 一种视频编码方法、装置、设备和计算机可读存储介质
CN112040245B (zh) 用于帧内编码深度图多层表示的系统和方法
EP4266685A1 (en) Video encoder comprising a frame buffer assembly
Chai et al. Foreground/background video coding using H. 261
Yang et al. Rate-constrained motion estimation and perceptual coding
TW202106014A (zh) 影像處理裝置及影像處理方法
JPS63268387A (ja) 直交変換ベクトル、スカラ−混合量子化方式
CN1631040A (zh) 为分层视频流的传输而传输填充信息
Luo Game theoretical models and algorithms for rate control in video compression
JPH07177503A (ja) 動画像デジタル符号化方式

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: French Boulogne - Bilang Kurt

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190603

Address after: American Delaware

Patentee after: Interactive Digital VC Holdings

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121128

Termination date: 20200316