CN114245114B - 用于对图像帧进行帧内编码的方法和装置 - Google Patents

用于对图像帧进行帧内编码的方法和装置 Download PDF

Info

Publication number
CN114245114B
CN114245114B CN202111033054.4A CN202111033054A CN114245114B CN 114245114 B CN114245114 B CN 114245114B CN 202111033054 A CN202111033054 A CN 202111033054A CN 114245114 B CN114245114 B CN 114245114B
Authority
CN
China
Prior art keywords
pixel values
block
intra
pixel value
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111033054.4A
Other languages
English (en)
Other versions
CN114245114A (zh
Inventor
伏莱德瑞克·皮尔
马尔特·约翰逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN114245114A publication Critical patent/CN114245114A/zh
Application granted granted Critical
Publication of CN114245114B publication Critical patent/CN114245114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

用于对图像帧进行帧内编码的方法和装置。提供了一种对图像帧(112)进行帧内编码的图像管线(120)及其方法。图像管线(120)包括处理部分(122)，该处理部分后面是支持用于对图像帧进行帧内编码的多个帧内预测模式的编码部分(124)。该方法包括：接收图像帧；以及对于在图像帧(112)中的至少一个像素值块：使用由编码部分(124)支持的帧内预测模式来预测至少一个像素值块中的像素值，并通过调整在至少一个像素值块中的至少一个像素值来更新图像帧(112)，以便减小在至少一个像素值和相应预测像素值之间的残差。进一步地，该方法包括使用多个帧内预测模式中的至少一个来对经更新的图像(112’)进行帧内预测。

Description

用于对图像帧进行帧内编码的方法和装置
技术领域
本申请涉及对图像帧进行帧内编码的领域。特别是，它涉及图像帧的在其帧内编码之前的处理。
背景技术
在数字视频系统例如网络摄像机监控系统中，视频序列通常在存储之前或在通过通信网络传输之前被压缩。对于在存储之前压缩视频序列的原因是减少了与对存储未压缩视频序列所需的存储资源相比所需的存储资源。相应地，视频序列在传输之前被压缩，以便减少了与用于未压缩视频序列的传输的网络资源相比的网络资源，例如网络带宽。在有限的可用网络资源的情况下，传输视频序列(如果未被压缩)可能甚至是不可能的。
视频序列可以被压缩，即通过编码器，使用各种视频编码方法被编码。在很多数字视频编码系统中，用于压缩视频序列的图像帧的两个主要模式是：帧内模式和帧间模式。在本公开中，帧内模式压缩也被称为帧内编码，以及帧间模式压缩相应地被称为帧间编码。
在帧内编码中，通过利用在单个帧的给定通道中的像素的空间冗余经由预测、变换和熵编码来对亮度和色度通道编码。经编码的图像帧被称为帧内帧，且也可以被称为I帧或关键帧。在帧内中，像素的块或包括多个块的宏块在帧内模式中被编码，这意味着它们被编码为块内，即单独地，而没有参考其他块。
帧间编码替代地利用在单独图像帧之间的时间冗余，并依赖于运动压缩预测技术，其通过针对选定的像素块对从一个图像帧到另一图像帧的像素中的运动编码来预测来自一个或多个先前图像帧的图像帧的部分。特别地，运动矢量和在图像帧的像素和参考帧的像素之间的运动中的差异被编码。经编码的帧被称为帧间帧，并可称为P帧(前向预测帧)或B帧(双向预测帧)，P帧可以指在解码顺序中的先前帧，B帧可以指两个或更多个先前的经解码的帧，并可以具有用于预测的帧的任何任意显示-顺序关系。在帧间内，像素的块可以要么在帧间模式(这意味着它们参考在先前的经解码的图像帧中的相似块被编码)中要么在帧内模式(这意味着它们被编码为块内，即单独地，而没有参考其他块)中被编码。
当执行像素的块的帧内编码时，编码器利用帧内预测。在帧内预测中，编码器使用在将被帧内编码的像素的块的顶部上和左侧的像素的值，以便预测在块中的像素值。
在使用帧内预测模式之一预测像素值之后，从真实像素值减去预测像素值，且差值(也被称为残差)在它被呈送到在比特流中之前被量化和熵编码。如果预测是完美的，将没有残差。然而，实际上将存在影响帧内编码帧的尺寸的残差。
很多编码器具有用于进行帧内预测的不同模式，且可以为像素的给定块选择给出最小残差的帧内预测模式。例如，有时也被称为H.264的压缩标准高级视频编码(AVC)支持9个不同的帧内预测模式、压缩标准高效视频编码(HEVC)支持35个不同的帧内预测模式，以及压缩标准AOMedia视频1(AV1)支持54个不同的帧内预测模式。
与图像帧的帧间编码相比的帧内编码图像帧的缺点是，所得到的I帧与帧间编码的P帧相比具有较大的尺寸，引起在比特流中的尖峰。I帧的较大尺寸的原因是，与P帧的帧间编码(其中，空间冗余和时间冗余都被利用)相比，当执行帧内编码时只有空间冗余被利用。
在US 2013/0251279中描述了减小帧内编码图像帧、即I帧的尺寸的一种方法，其中，自适应预处理方案在图像编码中被使用。在自适应预处理方案中，原始图像的块(所述块具有所确定的尺寸)与参考图像(已经对其执行了预处理的图像)的块比较，且当块具有在阈值内的相似性时，参考图像的块被复制到原始图像的块。在复制之后，包括所复制的参考块的原始图像帧被编码。其后，编码器评估经解码的图像是否满足期望的质量需要。如果经解码的图像的质量太低，阈值必须被向上控制，使得即将出现的图像的预处理不会导致劣化的图像质量。现有技术的缺点是，原始图像的全部块用全部参考块替代，导致在包括所替代的块的图像的那些部分中的图像信息的损失。最后，当原始图像的很多块用参考块替代时，由于图像信息的损失，所得到的图像可能对一些目的(例如监督目的)是无用的。现有技术还具有需要先前预处理的图像的缺点，该图像包括用于比较和复制的块。进一步地，当得到劣化的质量的至少一个经预处理的和经编码的图像时，确定需要调整阈值。这导致阈值的调整中的延迟。而且，如果劣化的质量的图像不被传输到接收器，原始图像必须使用新阈值再次被预处理，这导致劣化的压缩效率。
因此，存在改进的余地。
在US 2020/021817 A1中公开了减小帧内编码图像帧的尺寸的另一方法，其中，描述了具有宽角度帧内预测的位置相关(帧内)预测组合(PDPC)的编码技术。特别地，描述了如何使用宽角度帧内预测来为当前图片的当前块确定预测块，以及然后如何使用PDPC来修改预测块的预测样本。进一步地，描述了如何基于所修改的预测样本和在当前块中的样本值来确定残差块的残差值，以及如何用信号通知指示残差值的信息。
US 2011/002385 A1公开了图像编码设备，其将输入图片划分成多个宏块并基于针对在宏块中包含的像素值计算出的平坦度来确定宏块是否是平坦宏块。如果宏块被确定为是平坦宏块并属于平坦区域，则设备包括一单元，该单元用于基于确定结果并基于帧间预测模式和帧内预测模式的成本值，选择帧间预测模式和帧内预测模式之一作为对宏块编码的预测模式。设备还包括用于根据选定预测模式来执行预测编码的单元。
文章“AHG6:A threshold for SAO edge offset(AHG6：SAO边缘偏移的阈值)”(Sugio T等人，no.JCTVC-J0213 10July 2012(2012-07-10)，XP03020234791)提出了SAOEO的阈值，以便控制对强边缘和弱边缘的分类以从主观质量和客观质量方面提高灵活性。
发明内容
鉴于上述内容，因此本发明的目的是减轻上述问题并提供用于减小帧内编码图像帧(即I帧)的尺寸的技术。
根据本发明的第一方面，上述目的由图像管线所执行的用于对图像帧进行帧内编码的方法实现，其中，图像管线包括处理部分，其后面是支持用于对图像帧进行帧内编码的多个帧内预测模式的编码部分。该方法包括借助于处理部分来接收图像帧，以及对于在图像帧中的至少一个像素值块，使用由编码部分支持的帧内预测模式来预测至少一个像素值块中的像素值，通过当相应预测像素值大于在所述至少一个像素值块中的至少一个像素值时将在至少一个像素值块中的至少一个像素值在像素值范围内以预定量向上调整或当相应预测像素值小于在所述至少一个像素值块中的至少一个像素值时将在至少一个像素值块中的至少一个像素值在像素值范围内以预定量向下调整来减小在至少一个像素值块中的至少一个像素值和相应预测像素值之间的残差，以及用在至少一个像素值块中的经调整的至少一个像素值来更新图像帧。进一步地，该方法包括借助于编码部分使用多个帧内预测模式中的至少一个来对经更新的图像帧进行帧内编码，其中，帧内编码包括：对于在经更新的图像帧中的每个像素值块，预测像素值并使用所支持的帧内预测模式中的一个或多个来计算残差，以及对于每个相应的像素值块的帧内编码，选择为相应的像素值块给出最低残差的帧内预测模式。
在图像管线中的编码部分之前的处理部分因此通过将至少一个像素值在像素值范围内以预定量向上或向下调整来更新图像帧，以便减小在至少一个像素值和相应预测像素值之间的残差。预定量可以是在像素值范围内的向上或向下1个或2个步长。例如，在具有每像素8比特(bpp)的视频流中，至少一个像素值是在从0到255的范围内的整数，以及在具有10bpp的视频流中，像素值范围是从0到1023。因此，应理解，像素值范围取决于视频流的每像素比特的数量，且可以是除了上面作为例子给出的范围以外的另一范围。因为处理部分使用由编码部分支持的帧内预测模式之一来预测相应预测像素值并接着调整至少一个像素值以减小残差，编码部分更可能在经更新的图像帧的帧内编码中执行像素值的预测时使用帧内预测模式中的相同模式，且因此由编码部分确定的残差将小于它在没有由处理部分进行的调整的情况下的残差。由于较小的残差，与没有由处理部分执行的像素值调整的情形相比，帧内编码图像帧的尺寸减小了。因此，该方法用于减小I帧的尺寸。
如在本文使用的，术语“帧内编码”指使用由编码部分支持的一个或多个帧内预测模式对图像帧进行编码。举一些例子来说，一个或多个帧内预测模式可以是由AVC支持的9个不同的帧内预测模式中的一个或多个、由压缩标准HEVC支持的35个不同的帧内预测模式中的一个或多个和/或由压缩标准AV1支持的54个不同的帧内预测模式中的一个或多个。然而，其他压缩标准可以支持其他帧内预测模式，该其他帧内预测模式是由编码部分附加或可替代地支持的。进一步地，所支持的帧内预测模式可以包括一个或多个亮度(光度)帧内预测模式和/或一个或多个色度(色品)帧内预测模式。
所谓术语“像素值块”通常指的是在压缩中使用的像素值的单元，例如像素值的处理单元。例如，可以基于线性块变换(一般是离散余弦变换(DCT))以图像和视频压缩格式使用处理单元。块有时可以被称为预测块或变换块，这取决于它是在预测中还是在压缩中被使用。块可以是所谓的宏块的一部分。在AVC压缩标准中，像素值块一般包括4x4像素值或8x8像素值。然而，应理解，块尺寸可以是另一尺寸，例如16x16或32x32，或它可以是基于宏块的尺寸，这取决于压缩标准。因此，应理解，在像素值块中的像素值的数量可以根据例如所使用的压缩技术而改变。
如上面所提到的，所谓术语“残差”当在本公开中使用时指的是在真实像素值和预测像素值之间的差值。有时，残差被表示为在真实像素值和预测像素值之间的差值的绝对值。
在该方法的一些变形中，该方法还包括识别在图像帧中的至少一个非感兴趣区域的步骤，其中，至少一个像素值块被包括在至少一个非感兴趣区域中。
所谓术语“非感兴趣区域”当在本公开中使用时指的是不同于感兴趣区域ROI的区域，该ROI包括一个或多个感兴趣对象或细节。换句话说，非感兴趣区域是不包括任何感兴趣对象或细节的区域，例如背景区域。举一些例子来说，例如，非感兴趣区域可以是包括天空、海洋、森林、草地或其他植被的一部分的区域。
因此，调整包括在非感兴趣区域中的块中的至少一个像素值以如上面所提到的减小在像素值和相应预测像素值之间的残差的优点是给出了与编码器将在随后对图像帧进行编码时所使用的帧内预测模式的更好匹配而不影响经编码的图像帧的图像质量，因为至少一个像素值的调整不影响任何感兴趣对象或细节。
可以以几种方式实现至少一个非感兴趣区域的识别，其中一些方式将在下面参考实施例的第一组和实施例的第二组进行描述。
在实施例的第一组中，在图像帧中的至少一个非感兴趣区域的识别包括将图像帧划分成图像段，对图像段进行分类，并在图像段中的至少一个属于预定分类的组时将图像段中的至少一个识别为至少一个非感兴趣区域。
上面提到的划分、分类和识别的步骤中的一个或多个可以由图像分割过程执行，其中，标记被分配给图像帧中的每个像素，使得具有相同标记的像素共享某些特征并被考虑为属于同一图像段。标记可以与预定分类之一相关或指示预定分类之一。一般，图像分割的结果是共同覆盖整个图像帧的图像段的组。图像分割过程的一个例子是语义分割。图像分割过程的一些其他例子是基于运动的分割和基于阈值、柱状图或基于聚类方法或其他过程的分割，其他过程用于由于在图像的一些区域中的对象、人或运动的存在而将那些区域确定为比其他区域具有更大的重要性并将那些区域分类为ROI以及将其他区域分类为非感兴趣区域。
该预定分类的组可以包括定义均匀图像段的分类，即，在组成方面(例如在颜色和/或纹理方面)多半是均匀的图像段，或具有低于阈值的空间可变性的图像段。例如，该预定分类的组可以包括诸如天空和植被的分类和/或诸如分别是日间天空、夜间天空、云和树、灌木和草原的子分类。
在实施例的第一组中，处理部分可以基于该预定分类的组来选择帧内预测模式。由于分割成了分类，因此更适合于某个分类的帧内预测模式可以更容易被选择。
在该方法的一些变形中，处理部分使用多个帧内预测模式中的至少两个帧内预测模式来为在至少一个像素值块中的每个像素值计算预测像素值，并选择多个帧内预测模式中的至少两个帧内预测模式中给出了在像素值和相应预测像素值之间的残差的绝对值的最小和的帧内预测模式。通过选择具有残差的绝对值的最小和的帧内预测模式，编码部分在执行图像帧的帧内预测时选择相同帧内预测模式的可能性增加了，这导致与编码部分选择两个帧内预测模式中的另一个的情形相比的甚至更低的经编码的帧的尺寸。
在实施例的第二组中，在图像帧中的至少一个非感兴趣区域的识别包括确定包括在图像帧的至少一个区域中的像素值的空间可变性，以及将至少一个非感兴趣区域识别为包括具有低于区域阈值的空间可变性的像素值的区域。由于空间可变性低于区域阈值，这指示了该区域是均匀的，即不包括感兴趣对象或细节。因此，将这个区域识别为非感兴趣区域是有利的。
包括在非感兴趣区域中的至少一个像素值块可以具有高于块阈值的像素值的空间可变性。因此，当选择其中至少一个像素值将被调整的块时，选择其中空间可变性高于块阈值的块是有利的，因为在这样的块中，像素值可以被更多地调整以获得减小的经编码的帧的尺寸而不损害图像质量。
在该方法的一些变形中，在至少一个像素值块中的至少一个像素值的调整包括调整在至少一个像素值块中的至少一个像素值以将像素值的空间可变性减小到低于块阈值。因此，至少一个像素值的残差也将减小。
在该方法的一些变形中，从由编码部分支持的多个帧内预测模式的子集选择由处理部分使用的帧内预测模式。
该方法还可以包括借助于处理部分来计算在像素值和相应预测像素值之间的残差，以及将待调整的至少一个像素值选择为计算出的残差的绝对值大于像素阈值的像素值。在至少一个像素值块中的至少一个像素值的调整可以包括调整在至少一个像素值块中的至少一个像素值，使得残差的绝对值等于或低于像素阈值。通过将像素值阈值与像素值进行比较，可以选择那些如果未被调整则可能会导致增加的经编码的帧的尺寸和在编码比特流中的尖峰的像素值进行调整。因此，可得到减小的经编码的帧的尺寸。
预定量可以是在像素值范围内的向上或向下1个或2个步长。例如在具有每像素8比特(bpp)的视频流中，至少一个像素值是在从0到255的范围内的整数，以及在具有10bpp的视频流中，像素值范围是从0到1023。因此，应理解，像素值范围取决于视频流的每像素比特的数量，且可以是除了作为例子在上面给出的范围以外的另一范围。
在该方法的一些变形中，至少一个像素值的调整包括将在至少一个像素值块中的至少一个像素值调整为等于邻近像素值。因此，图像帧的随后编码将被简化，因为具有相同像素值的邻近像素可以用同一方式被编码。例如，这可能对垂直帧内预测模式(例如AVC模式0)或水平帧内预测模式(例如AVC模式1)是有利的。
在该方法的一些变形中，至少一个像素值的调整包括调整在至少一个像素值块中的像素值中的一个或多个但不是全部。一般，待调整的像素值的数量保持尽可能低以得到所寻求的经编码的帧的尺寸的减小，而同时避免了使经编码的图像帧的图像质量劣化。
根据本发明的第二方面，上述目的由对图像帧进行帧内编码的图像管线实现，其中，图像管线包括处理部分，其后面是被配置成支持用于对图像帧进行帧内编码的多个帧内预测模式的编码部分。处理部分被配置成接收图像帧；并被配置成对于在图像帧中的至少一个像素值块使用由编码部分支持的帧内预测模式来预测至少一个像素值块中的像素值，通过当相应预测像素值大于在至少一个像素值块中的至少一个像素值时将在至少一个像素值块中的至少一个像素值在像素值范围内以预定量向上调整或当相应预测像素值小于在至少一个像素值块中的至少一个像素值时将在至少一个像素值块中的至少一个像素值在像素值范围内以预定量向下调整来减小在至少一个像素值块中的至少一个像素值和相应预测像素值之间的残差，并用在至少一个像素值块中的经调整的至少一个像素值来更新图像帧。编码部分被配置成通过被如下地配置以使用多个帧内预测模式中的至少一个对经更新的图像帧进行帧内编码：对于在经更新的图像帧中的每个像素值块，预测像素值并使用所支持的帧内预测模式中的一个或多个来计算残差，并对于每个相应的像素值块的帧内编码，选择为相应的像素值块给出最低残差的帧内预测模式。
根据本发明的第三方面，上述目的由非暂时性计算机可读介质实现，该计算机可读介质具有存储在其上的计算机代码指令，该计算机代码指令适合于当由具有处理能力的装置执行时执行第一方面的方法。
第二和第三方面可以通常具有与第一方面相同的特征和优点。进一步注意，本发明涉及本文公开的特征的所有可能组合，除非另有明确规定。
附图说明
参考附图通过本发明的实施例的下面的说明性和非限制性详细描述将更好地理解本发明的上面以及附加的对象、特征和优点，其中相同的附图标记将用于相似的元件，其中：
图1示意性示出根据实施例的包括图像管线的成像系统。
图2是根据实施例的用于对图像帧进行帧内编码的方法的流程图。
图3示意性示出在包括4x4像素的块中的预测像素值的标记。
图4示意性示出压缩标准AVC的三个帧内预测模式，即模式0、模式1和模式2。
具体实施方式
在下文中将参考附图更充分地描述本发明，在附图中示出本发明的实施例。
图1示出成像系统100的实施例。成像系统100包括图像源110和用于对一个或多个图像帧112进行帧内编码的图像管线120。
图像源110可以是或可以包括配置成捕获场景的一个或多个图像帧的图像传感器(未示出)。图像源110可以形成视频摄像机(例如监控摄像机)的部分。可替代地或附加地，图像源110可以是图像渲染引擎。图像渲染引擎被配置成渲染图像帧。图像渲染引擎可以被配置成借助于计算机程序来渲染来自2D模型或3D模型的逼真或非逼真图像帧。可替代地或附加地，图像源110可以是被配置成存储从布置在图像源110外部并与图像源110通信的图像传感器(未示出)接收的一个或多个图像帧的存储器。进一步地，图像源110可以被配置成将图像帧112传送到图像管线120。图像管线120可以形成上面提到的视频摄像机(例如监控摄像机)的部分。因此在一些实施例中，视频摄像机包括成像系统100。
如图1所示，图像管线120包括处理部分122和编码部分124。在图像管线120中，处理部分122被布置为在编码部分124之前，并且因此编码部分124被布置为在处理部分122之后。编码部分124被配置成支持用于对图像帧进行帧内编码的多个帧内预测模式。图像管线120也可以包括被配置成从图像源110接收图像帧并将图像帧传输到客户端装置的接收和传输部分(未示出)。
因此，图像管线120被配置成处理从图像源110接收的一个或多个图像帧112并例如通过无线或有线通信网络(未示出)将在一个或多个比特流中的经处理和编码的图像帧112”传输到一个或多个客户端。特别地，图像管线120被配置成处理图像帧以减小帧内编码图像帧的经编码的帧尺寸，即，在一个或多个比特流中，从编码部分124传输的I帧的经编码的帧尺寸。如也在图1中图书的，每个客户端可以具有被配置成对接收到的经编码的图像帧112”的比特流进行解码并在显示装置140(例如在视频监视器)上呈现经解码的图像帧的解码部分130。
现在将参考图2的流程图描述用于对图像帧112进行帧内编码的方法。该方法可以由成像系统100的图像管线120执行。该方法或其一个或多个步骤可以在图像管线110的几个部分中独立地被执行。为了说明的目的，在下文中假设该方法的步骤由图像管线120的处理部分122或编码部分124执行。然而，也将给出在另一部分(例如预处理部分(未示出))中执行该方法的一些步骤的示例。进一步地，应注意，一些步骤可以是可选的，以及步骤可以按另一适当的顺序被采取。而且，在本公开中，一个或多个步骤被描述为在至少一个像素值块上被执行。这应被理解为一个或多个步骤可以在图像帧或图像帧的一部分的像素值的多个块(例如像素值的所有块)上被执行。
在步骤S202中，处理部分122接收图像帧112。如上面提到的，处理部分122可以从图像源110获得图像帧112。在本公开中，图像帧112是待帧内编码的帧，即，该帧待使用帧内模式压缩来进行编码。
在可选的步骤S204中，识别在图像帧112中的至少一个非感兴趣区域。至少一个非感兴趣区域包括至少一个像素值块。如下面将参考步骤S206和S208更详细描述的，通过调整至少一个像素值块中的至少一个像素值以减小在至少一个像素值和相应预测像素值之间的残差来更新图像帧112。通过调整在非感兴趣区域中的至少一个像素值，可能出现的图像质量劣化的这一缺点是不那么严重的，因为它出现在图像帧112的非感兴趣区域中，并且将不会消极地影响观看体验。因此，在一些实施例中，至少一个像素值块被选择为被包括在非感兴趣区域中。
至少一个非感兴趣区域可以以几种方式由图像管线120识别。例如，至少一个非感兴趣区域可以由处理部分122识别，但它可以可替代地由图像管线120的另一部分(例如在处理部分122之前的预处理部分(未示出))识别。
在实施例的第一组中，图像管线120可以通过将图像帧112划分成图像段、对图像段进行分类并在图像段中的至少一个属于预定分类的组时将图像段中的至少一个识别为至少一个非感兴趣区域来识别在图像帧112中的至少一个非感兴趣区域。例如，该预定分类的组可以包括诸如天空和植被的分类和/或诸如分别是日间天空、夜间天空、云和树、灌木和草原的子分类。
在实施方式的第二组中，图像管线120可以通过确定被包括在图像帧112的至少一个区域中的像素值的空间可变性并将至少一个非感兴趣区域识别为包括具有低于区域阈值的空间可变性的像素值的区域来识别在图像帧112中的至少一个非感兴趣区域。因此，区域阈值可以是一个值，低于该值的空间可变性是足够低到将该区域考虑为是非感兴趣的。例如，区域阈值可以是与在帧中的像素的空间可变性的百分之十相对应的值，由此在统计上，所有像素值的百分之十将低于区域阈值，并可以因此被考虑为属于非感兴趣区域。区域的空间可变性可以是在区域中的像素值的方差或标准偏差。
可替代地或附加地，被包括在非感兴趣区域中的像素值的至少一个块可以具有高于块阈值的像素值的空间可变性。如果在非感兴趣区域内的几个块具有高于块阈值的像素值的空间可变性，在几个块中的具有最大空间可变性的块可被选择。然后处理部分122可以调整在至少一个像素值块中的至少一个像素值以将像素值的空间可变性减小到低于块阈值。例如，块阈值可以被设置为接近块的空间可变性的值，例如被设置为在块的空间可变性的±1-10％(例如在±1-5％)的范围内的值。块的空间可变性可以是在块中的像素值的方差或标准偏差。这可以被使用在使用上部和左侧样本的平均值的帧内预测模式(例如被AVC帧内预测模式2(DC))中。
在步骤S206中，处理部分122通过使用由编码部分124支持的帧内预测模式来预测在图像帧112中的至少一个像素值块中的像素值。如先前提到的，至少一个像素值块可以被包括在图像帧的区域(例如非感兴趣区域)中。进一步地，处理部分122可以预测被包括在图像帧的区域(例如在非感兴趣区域)中的像素值的所有块的像素值。
如先前提到的，编码部分124支持多个帧内预测模式。因此，对于像素值的预测，即对于帧内预测，处理部分122应使用由编码部分124支持的多个帧内预测模式中的一个。例如，举一些示例来说，编码部分124可以支持由AVC支持的9个不同的帧内预测模式中的一个或多个、由压缩标准HEVC支持的35个不同的帧内预测模式中的一个或多个和/或由压缩标准AV1支持的54个不同的帧内预测模式中的一个或多个。
在实施例的第一组中，处理部分122可以基于该预定分类的组来选择由编码部分124支持的多个帧内预测模式中的帧内预测模式。因此，处理部分122可以被配置成基于图像段的分类来选择帧内预测模式。如果分类指示出区域是均匀的，则适合于均匀区域的帧内预测模式应被选择和使用。
可替代地，在实施例的第二组中，处理部分122可以基于空间可变性来选择由编码部分124支持的多个帧内预测模式中的帧内预测模式。例如，如果空间可变性低于区域阈值，则可以指示区域是均匀的以及适合于均匀区域的帧内预测模式应被选择和使用。然而应理解，适合于均匀区域的不同帧内预测模式可以用于不同的均匀区域。因此，相同的帧内预测模式不需要用于所有均匀区域。例如，依次低于区域阈值的一个或多个附加区域阈值可以是可用的，且当空间可变性低于一个或多个附加区域阈值之一时，则可以指示适合于均匀区域的另一帧内预测模式应被使用。例如，这可以指示应使用帧内预测模式2(DC)而不是帧内预测模式0或帧内预测模式1。
图3图示了示例，其中，在包括4x4像素的块中的预测像素值被标记为a-p，且在块的顶部上和左侧的像素值分别被标记为M、A-H和I-L。根据所使用的帧内预测模式，在块的顶部上和/或左侧的像素值用于预测像素值a-p。
图4示意性图示了压缩标准AVC的9个帧内预测模式中的三个第一帧内预测模式，即模式0、模式1和模式2(也被称为DC模式)。在帧内预测模式、即模式0、模式1和模式2中的每个中，示出在块的顶部上和/或左侧的像素值如何用于预测像素值a-p。
在AVC帧内预测模式0中，在块中的像素值的相应列的顶部上的像素值将被用于预测，其将相同的预测像素值给予在同一列中的所有像素值。因此，像素值a、e、i和m将被预测为具有像素值A；像素值b、f、j和n将被预测为具有像素值B；像素值c、g、k和o将被预测为具有像素值C；并且像素值d、h、l和p将被预测为具有像素值D。
在AVC帧内预测模式1中，在块中的像素值的相应行的左侧的像素值将被用于预测，其将相同的预测像素值给予在同一行中的所有像素值。
在AVC帧内预测模式2中，在块中的像素值的左侧和顶部上的像素值的平均值将被用于预测，其将相同的像素值给予在块中的所有像素值。在图4所示的我们的示例中，块的所有像素值将被预测为具有像素值A-D和I-L的平均值。
对于均匀区域或包括具有低空间可变性、即低于区域阈值的像素值的区域，由AVC支持的三个第一模式、即模式0、模式1或模式2(DC)中的一个可以适合于被选择来用于在至少一个像素值块中的像素值的预测。
在另一可选方案中，处理部分122可以使用多个帧内预测模式中的至少两个帧内预测模式来为在至少一个像素值块中的每个像素值计算预测像素值，并选择多个帧内预测模式中的至少两个帧内预测模式中给出了在像素值和相应预测像素值之间的残差的绝对值的最小和的帧内预测模式。因此应理解，处理部分122可以使用所支持的多个帧内预测模式中的全部来为在至少一个像素值块中的每个像素值计算预测像素值。在这样的情形中，处理部分122可以选择多个帧内预测模式中的给出了在像素值和相应预测像素值之间的残差的绝对值的最小和的帧内预测模式。
在一些实施例中，处理部分122可以使用由编码部分124支持的多个帧内预测模式。在这样的实施方式中，处理部分122可以选择多个所支持的帧内预测模式中的一个。例如，处理部分122可以从由编码部分124支持的多个帧内预测模式的子集选择帧内预测模式。多个帧内预测模式的子集可以是真子集，且可以因此不包括由编码部分124支持的帧内预测模式中的全部。
现在返回到图2，在步骤S208中，处理部分122通过调整在图像帧112中的至少一个像素值块中的至少一个像素值来更新图像帧112，以便减小在至少一个像素值和相应预测像素值之间的残差。这也可以被表示为处理部分122在步骤S208中通过调整在至少一个像素值块中的至少一个像素值来减小在至少一个像素值块中的至少一个像素值和相应预测像素值之间的残差，并用在至少一个像素值块中的经调整的至少一个像素值来更新图像帧。
处理部分122可以将在至少一个像素值块中的至少一个像素值在像素值范围内以预定量向上或向下调整，以便减小残差。例如，当相应预测像素值大于在至少一个像素值块中的至少一个像素值时，处理部分122将在至少一个像素值块中的至少一个像素值在像素值范围内以预定量向上调整，以便减小残差。相应地且为了在相应预测像素值小于至少一个像素值时减小残差，处理部分122将在在至少一个像素值块中的至少一个像素值块中的至少一个像素值在像素值范围内以预定量向下调整。
应注意，将残差彻底地减小、即减小到零不是目的，以及情况一般也不是那样，因为残差的彻底减小导致图像信息的太大损失。替代地，应注意到，即使是残差的较小的减小，也会增加编码部分124在稍后阶段用由处理部分122所使用的用于预测的帧内预测模式来对用经调整的至少一个像素值更新的图像帧进行编码的可能性。用相同的帧内预测模式对经更新的图像帧112’的编码将导致与从未更新的原始图像帧112的编码产生的I帧相比的I帧的减小的经编码的帧尺寸。
处理部分122也可以选择待调整的至少一个像素值。例如，这可以通过处理部分122计算在像素值和相应预测像素值之间的残差并将待调整的至少一个像素值选择为计算出的残差的绝对值大于像素阈值的像素值来完成。因此，如果差值的绝对值大于特定像素值的像素阈值，则那个像素值可以被选择来用于调整。在几个像素值具有大于像素阈值的绝对差值的情况下，那些像素值中的至少一个或它们中的全部可以被调整。例如，像素阈值可以被设置为接近块的空间可变性的值，例如被设置为在块的空间可变性的±1-10％(例如±1-5％)的范围内的值。这可以在使用上部样本和左侧样本的平均值的帧内预测模式(例如AVC帧内预测模式2(DC))中被使用。
当像素值被选择时，它应被调整，以及该调整可以以不同的方式被执行。例如，处理部分122可以调整在至少一个像素值块中的至少一个像素值，使得残差的绝对值等于或低于像素阈值。
可替代地或附加地，处理部分122可以将至少一个像素值以预定量调整。至少一个像素值可以被调整的预定量可以是在像素值范围内的向上或向下1个或2个步长。举两个例子来说，如先前提到的，像素值范围对于8bpp视频流是0到255，以及对于10bpp视频流是0到1023。
可替代地或附加地，处理部分122可以将在至少一个像素值块中的至少一个像素值调整为等于邻近像素值。因此，图像帧的随后编码将被简化，因为具有相同像素值的邻近像素可以用同一方式被编码。如先前提到的，这可能对垂直帧内预测模式(例如AVC模式0)或水平帧内预测模式(例如AVC模式1)是有利的。进一步地，这可能在该调整导致了减小的残差时是有利的，因为它可以简化编码部分126的编码，且它也可能与当邻近像素值不同时的情况相比需要较少的编码资源。
然而应理解，处理部分122可以将在至少一个像素值块中的至少一个像素值调整为等于对待使用的帧内预测模式最有利的像素值，即调整为对于待使用的帧内预测模式给出了最小残差的像素值。
进一步地，处理部分122可以调整在至少一个像素值块中的像素值中的一个或多个但不是全部。换句话说，它仅仅是在被调整的至少一个块中的像素值的总数中的像素值的真子集。应注意，真子集不包括块的所有像素值。因此，意图不是由像素值的另一块替代像素值块，因为那可能使图像质量下降得太多。替代地，意图是调整一个或多个或仅仅与所需的一样多的像素值以增加编码部分124选择与用于像素值的预测的处理部分122相同的帧内预测模式的概率。如先前提到的，如果编码部分124选择与由处理部分122使用的帧内预测模式相同的帧内预测模式，则得到了所寻求的经编码的帧的尺寸的减小。
在一些替可代的实施方式中，处理部分122可以调整在至少一个像素值块中的所有像素值，只要至少一个像素的残差不减小到零，即，只要至少一个像素的残差大于零并小于像素阈值。
在步骤S210，编码部分124使用多个帧内预测模式中的至少一个来在经更的新图像帧112’上执行帧内编码。由编码部分124执行的帧内编码是根据标准技术的，并包括：对于在经更新的图像帧中的每个像素值块，预测像素值并使用所支持的帧内预测模式中的一个或多个来计算残差，并对于每个相应的像素值块的帧内编码，选择为相应的像素值块给出最低残差的帧内预测模式。如本领域技术人员已知的，编码部分124将根据块所位于的区域来对经更新的图像帧112’的不同块进行不同地编码。例如，如果块位于均匀区域中，AVC模式2(DC)可以给出最小残差，且因此它可以被选择。作为另一例子，如果块位于包括垂直图案的区域中，AVC模式0(垂直的)可以给出最小残差，且因此它可被选择。因此，编码部分125可以使用不同帧内预测模式对经更新的图像帧112’的不同块进行编码。例如，如果经更新的图像帧112’的块被包括在ROI中，则编码部分124将使用适合于对对象或细节编码的帧内预测模式来执行帧内编码，以及如果块被包括在非感兴趣区域中，则编码部分124将使用适合于对非感兴趣区域编码的帧内预测模式(例如AVC的模式0、模式1或模式2中的一个)来执行帧内编码。由于编码部分124使用所支持的帧内预测模式中的一个或多个来计算残差并选择给出了帧内编码的最低残差的帧内预测模式，因此在至少一个像素值的调整之后编码部分124选择与由处理部分122所使用的帧内预测模式相同的帧内预测模式的可能性增加了，因为调整的结果是所选择的帧内预测模式的减小的残差。因此，如果编码部分124选择与由处理部分122所使用的帧内预测模式相同的帧内预测模式，则经编码的图像帧122”的尺寸将减小。进一步地，由于编码部分124是根据标准技术进行操作的，因此标准解码部分130(例如传统解码部分)能够对接收到的经编码的图像帧112”的比特流进行解码而不需要解码部分130的任何修改。因此，编码部分124与标准解码部分兼容。
如上所述，图像管线120可以被配置成实现用于对图像帧112进行帧内编码的方法。为了这个目的，图像管线120可以包括被配置成实现上面所述的各种方法步骤的电路。
在硬件实现中，电路可以专用于且特别设计成实现方法步骤中的一个或多个。电路可以是一个或多个集成电路(例如一个或多个专用集成电路或一个或多个现场可编程门阵列)的形式。作为示例，图像管线120可以因此包括电路，其在使用中时预测至少一个像素值块中的像素值并使用由编码部分124支持的帧内预测模式来调整像素值中的至少一个。
在软件实施方式中，电路可以替代地是处理器(例如微处理器)的形式，处理器与存储在(非暂时性)计算机可读介质(例如非易失性存储器)上的计算机代码指令相关地使图像管线120执行本文公开的任何方法。非易失性存储器的例子包括只读存储器、闪存、铁电RAM、磁性计算机存储装置、光盘等。在软件情况中，上面所述的方法步骤中的每个可以因此与存储在计算机可读介质上的计算机代码指令的一部分相对应，当计算机代码指令由处理器执行时使图像管线120执行本文公开的任何方法。
应理解，硬件和软件实施方式的组合也是可能的，这意味着一些方法步骤在硬件中实现而其他方法步骤在软件中实现。
将认识到，本领域技术人员可以以很多方式修改上面所述的实施例，并仍然使用如在上面的实施例中所示的本发明的优点。例如，图像管线120不需要是包括在一个位置处的处理部分122和编码部分124的单个单元，而它可以是虚拟单元，其中，处理部分122和编码部分124一起操作，但它们在不同的位置处被提供。可替代地，处理部分122可以是编码部分124的整体部分。进一步地，可能的预处理部分可以布置在图像管线120的外部，例如在图像源110和图像管线120之间。因此，本发明不应限于所示的实施例，而是只由所附权利要求限定。进一步地，如技术人员理解的，所示的实施例可以被组合。

Claims (14)

1.一种由图像管线执行的用于对图像帧进行帧内编码的方法，其中，所述图像管线包括处理部分，所述处理部分后面是支持用于对图像帧进行帧内编码的多个帧内预测模式的编码部分，并且其中，所述方法包括：
借助于所述处理部分来执行下列步骤：
接收图像帧；
对于在所述图像帧中的至少一个像素值块：
使用由所述编码部分支持的帧内预测模式来预测所述至少一个像素值块中的像素值；
通过当相应预测像素值大于所述至少一个像素值块中的至少一个像素值时将在所述至少一个像素值块中的所述至少一个像素值在像素值范围内以预定量向上调整或当所述相应预测像素值小于在所述至少一个像素值块中的所述至少一个像素值时将在所述至少一个像素值块中的所述至少一个像素值在所述像素值范围内以所述预定量向下调整来减小在所述至少一个像素值块中的所述至少一个像素值和所述相应预测像素值之间的残差，以及用在所述至少一个像素值块中的经调整的至少一个像素值来更新所述图像帧；并且
借助于所述编码部分来执行以下步骤：
使用所述多个帧内预测模式中的至少一个来对经更新的图像帧进行帧内编码，
其中，所述帧内编码包括：
对于在所述经更新的图像帧中的每个像素值块，预测像素值并使用所支持的所述帧内预测模式中的一个或多个来计算残差，并且
对于每个相应的像素值块的帧内编码，选择为所述相应的像素值块给出最低残差的所述帧内预测模式。
2.根据权利要求1所述的方法，进一步包括：
识别在所述图像帧中的至少一个非感兴趣区域，并且其中，所述至少一个像素值块被包括在所述至少一个非感兴趣区域中。
3.根据权利要求2所述的方法，其中，在所述图像帧中的所述至少一个非感兴趣区域的所述识别包括：
将所述图像帧划分成图像段；
对所述图像段进行分类；并且
当在所述图像段中的至少一个属于预定分类的组时，将所述图像段中的至少一个识别为所述至少一个非感兴趣区域。
4.根据权利要求3所述的方法，其中，基于所述预定分类的组来选择由所述处理部分所使用的所述帧内预测模式。
5.根据权利要求1所述的方法，进一步包括：
借助于所述处理部分，使用所述多个帧内预测模式中的至少两个帧内预测模式来为在所述至少一个像素值块中的每个像素值计算预测像素值，并选择所述多个帧内预测模式中的所述至少两个帧内预测模式中给出了在所述像素值和所述相应预测像素值之间的所述残差的绝对值的最小和的帧内预测模式。
6.根据权利要求2所述的方法，其中，在所述图像帧中的所述至少一个非感兴趣区域的所述识别包括：
确定被包括在所述图像帧的至少一个区域中的像素值的方差或标准偏差；以及
将所述至少一个非感兴趣区域识别为包括具有低于区域阈值的方差或标准偏差的像素值的区域。
7.根据权利要求2所述的方法，其中，被包括在所述非感兴趣区域中的所述至少一个像素值块具有高于块阈值的像素值的方差或标准偏差。
8.根据权利要求7所述的方法，其中，在所述至少一个像素值块中的所述至少一个像素值的所述调整包括：
调整在所述至少一个像素值块中的所述至少一个像素值以将所述像素值的所述方差或标准偏差减小到低于所述块阈值。
9.根据权利要求1所述的方法，其中，从由所述编码部分支持的所述多个帧内预测模式的子集选择由所述处理部分使用的所述帧内预测模式。
10.根据权利要求1所述的方法，进一步包括：
借助于所述处理部分，计算在所述像素值和所述相应预测像素值之间的所述残差，以及将待调整的所述至少一个像素值选择为计算出的残差的绝对值大于像素阈值的像素值。
11.根据权利要求10所述的方法，其中，在所述至少一个像素值块中的所述至少一个像素值的所述调整包括：
调整在所述至少一个像素值块中的所述至少一个像素值，使得所述残差的绝对值等于或低于所述像素阈值。
12.根据权利要求1所述的方法，其中，所述至少一个像素值的所述调整包括：
调整在所述至少一个像素值块中的所述像素值中的一个或多个但不是全部。
13.一种对图像帧进行帧内编码的图像管线，其中，所述图像管线包括处理部分，所述处理部分后面是被配置成支持用于对图像帧进行帧内编码的多个帧内预测模式的编码部分，其中，所述处理部分被配置成：
接收图像帧；并且
对于在所述图像帧中的至少一个像素值块：
使用由所述编码部分支持的帧内预测模式来预测所述至少一个像素值块中的像素值；并且
通过当相应预测像素值大于在所述至少一个像素值块中的至少一个像素值时将在所述至少一个像素值块中的至少一个像素值在像素值范围内以预定量向上调整或当所述相应预测像素值小于在所述至少一个像素值块中的所述至少一个像素值时将在所述至少一个像素值块中的所述至少一个像素值在所述像素值范围内以所述预定量向下调整来减小在所述至少一个像素值块中的所述至少一个像素值和所述相应预测像素值之间的残差，以及用在所述至少一个像素值块中的经调整的至少一个像素值来更新所述图像帧；并且
其中，所述编码部分被配置成：
通过被如下地配置以使用所述多个帧内预测模式中的至少一个对经更新的图像帧进行帧内编码：
对于在所述经更新的图像帧中的每个像素值块，预测像素值并使用所支持的所述帧内预测模式中的一个或多个来计算残差，并且
对于每个相应的像素值块的帧内编码，选择为所述相应的像素值块块给出最低残差的所述帧内预测模式。
14.一种非暂时性计算机可读介质，具有存储在其上的计算机代码指令，所述计算机代码指令适合于当由具有处理能力的装置执行时执行权利要求1的方法。
CN202111033054.4A 2020-09-08 2021-09-03 用于对图像帧进行帧内编码的方法和装置 Active CN114245114B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20194958.3A EP3965416B1 (en) 2020-09-08 2020-09-08 Method and device for intra-coding an image frame
EP20194958.3 2020-09-08

Publications (2)

Publication Number Publication Date
CN114245114A CN114245114A (zh) 2022-03-25
CN114245114B true CN114245114B (zh) 2024-03-22

Family

ID=72428207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111033054.4A Active CN114245114B (zh) 2020-09-08 2021-09-03 用于对图像帧进行帧内编码的方法和装置

Country Status (4)

Country Link
US (1) US11539944B2 (zh)
EP (1) EP3965416B1 (zh)
JP (1) JP2022045336A (zh)
CN (1) CN114245114B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116095316B (zh) * 2023-03-17 2023-06-23 北京中星微人工智能芯片技术有限公司 视频图像处理方法及装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107318015A (zh) * 2016-04-26 2017-11-03 谷歌公司 用于视频编码的混合预测模式

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5215951B2 (ja) * 2009-07-01 2013-06-19 キヤノン株式会社 符号化装置及びその制御方法、コンピュータプログラム
KR20130049525A (ko) 2011-11-04 2013-05-14 오수미 잔차 블록 복원을 위한 역변환 방법
KR20130108948A (ko) 2012-03-26 2013-10-07 한국전자통신연구원 적응적 전처리 기법을 이용한 영상 인코딩 방법
EP3280141A4 (en) * 2015-05-12 2018-02-28 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image
EP3301917A1 (en) 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for spatial guided prediction
US11128872B2 (en) * 2018-07-16 2021-09-21 Qualcomm Incorporated Position dependent intra prediction combination with wide angle intra prediction
EP3629579A1 (en) * 2018-09-27 2020-04-01 Ateme Method for image processing and apparatus for implementing the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107318015A (zh) * 2016-04-26 2017-11-03 谷歌公司 用于视频编码的混合预测模式

Also Published As

Publication number Publication date
JP2022045336A (ja) 2022-03-18
EP3965416B1 (en) 2022-08-03
US11539944B2 (en) 2022-12-27
EP3965416A1 (en) 2022-03-09
US20220078412A1 (en) 2022-03-10
CN114245114A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
US9402034B2 (en) Adaptive auto exposure adjustment
EP3598758B1 (en) Encoder decisions based on results of hash-based block matching
CN1314272C (zh) 用于视频编码器的预测方法、装置
US8331449B2 (en) Fast encoding method and system using adaptive intra prediction
KR101785886B1 (ko) 화상 부호화 장치, 화상 복호 장치, 부호화 스트림 변환 장치, 화상 부호화 방법, 및 화상 복호 방법
US20090190655A1 (en) Moving picture encoding apparatus
US9332279B2 (en) Method and digital video encoder system for encoding digital video data
KR101960470B1 (ko) 오프라인 cabac을 지원하는 비디오 코딩 프로세스의 비트 예측 기반 비트 레이트 컨트롤 방법 및 그 장치
WO2009025437A1 (en) Bit rate control method and apparatus
CN114245114B (zh) 用于对图像帧进行帧内编码的方法和装置
Jing et al. A novel intra-rate estimation method for H. 264 rate control
WO2005094083A1 (en) A video encoder and method of video encoding
JP5649296B2 (ja) 画像符号化装置
KR102271118B1 (ko) 영상 저장 장치 및 방법
EP3319317B1 (en) Video encoding and decoding method and device
Wu et al. A region of interest rate-control scheme for encoding traffic surveillance videos
CN110366851B (zh) 编码、解码方法及编码、解码设备
JP4572137B2 (ja) 符号化装置および符号化プログラム
WO2005125218A1 (en) Prediction error based segmentation refinement within a forward mapping motion compensation scheme
CN113766227B (zh) 用于图像编码和解码的量化和反量化方法及装置
JP4926912B2 (ja) 映像符号化装置及び方法
US20230101318A1 (en) Edge offset for cross component sample adaptive offset (ccsao) filter
JP2008099175A (ja) 動画符号化装置および動画符号化方法
US20210176463A1 (en) Image processing apparatus and method
CN117812268A (zh) 视频转码方法、装置、设备以及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant