CN101227608A - 加权预测视频编码 - Google Patents

加权预测视频编码 Download PDF

Info

Publication number
CN101227608A
CN101227608A CNA2007101800841A CN200710180084A CN101227608A CN 101227608 A CN101227608 A CN 101227608A CN A2007101800841 A CNA2007101800841 A CN A2007101800841A CN 200710180084 A CN200710180084 A CN 200710180084A CN 101227608 A CN101227608 A CN 101227608A
Authority
CN
China
Prior art keywords
image
benchmark
zone
images
pic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007101800841A
Other languages
English (en)
Inventor
P·吴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ericsson AB
Original Assignee
Tandberg Television AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tandberg Television AS filed Critical Tandberg Television AS
Publication of CN101227608A publication Critical patent/CN101227608A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种使用至少两个基准图编码源图像的方法，通过基于预定的规则，将源图像分割成区域，并使用预定的规则，将基准图像分割成相应区域。通过使用基准图像区域和源图像相应区域的平均亮度差，对至少一个基准图像的至少一个区域的亮度值进行加权和偏移，以获取至少用于源图像的亮度值。通过对来自至少两幅基准图像的经加权和偏移的亮度值进行平均或求和，以预测源图像的亮度值。

Description

加权预测视频编码
技术领域
本发明涉及加权预测视频编码。
背景技术
多年来，已知的使用复杂视频压缩技术的高级图像编码系统就已经标准化并作为商用。其中比较流行的大多数都是MPEG标准系列和其接任者。这些编码处理的主要特点在于运动补偿，而使用运动补偿来利用移动图像序列中的时域冗余。
这些编码处理中，将图像帧或图像分割成称之为图像元素或像素的不可约像素(irreducible pixel)的阵列。参考图1，通过参考一个或多个其它图像12中的像素，编码当前图像11的像素，图像12可以是顺序位于当前图像的前面或者后面或多幅图像，其中多幅图像中的一个或多个是在当前图像之前或者之后；因此，可使用预测和插值来找寻基准素材以与当前图像内容进行比较，并计算像素之间的差别。
通常，在称之为宏块(MB)的像素的小矩形块上执行该处理，当前多数系统中宏块的尺寸为16×16像素，但也可以是其它的尺寸。为解决连续图像之间的移动，可为每个MB获取运动向量(MV)。参考图1，在基准图像12中定义搜索区域13；基准图像12中，可能发现当前MB像素14的值间的匹配；上述匹配给出了当前编码像素和临近图像中的基准像素15之间的移位变化；基准像素15与编码像素非常类似，但具有空间移位。在解码器端，重构并存储这些连续图像，以便于，可在处理当前图像及其像素的同时这些连续图像是可获取的，并且可使用当前MV表示。
在已知的H264/AVC视频压缩标准中改进了该方法，相比于MPEG2标准，在诸多方面均提高了性能。特别地，在从存储器中取回基准像素15并将其与当前像素数据合并的处理中，具有在上述计算之前修改取回数据的偏移和加权步骤。这是一个可用于任何用途的并且仅通过已传输的位流句法定义的特性，所述用途被系统设计者分配给所述特性，所述位流必须能被相应解码器实现。编码器从编码图像中获取信息并根据相关传输句法发送，以便于解码器可发现并使用信息。这使编码器设计者能够自由地建立创新方法以利用所述加权应用。
这些特性可能是有效的典型应用是处理渐变(fade)或者处理亮度的快速变化对图像的较大或较小的区域产生的影响，所述亮度的快速变化可发生在例如当TV照相机前的闪光枪操作时或屏幕内具有很多快速改变的物体的镜面反射时。渐变是给定图像序列和其它图像序列间的过渡，例如，图像信号的幅度稳步降低的黑色，也就是没有图像，反之亦然。交叉渐变是两幅内容不同的连续图像序列之间的类似过渡。在非加权MPEG压缩系统中，不能很好地对渐变进行编码。通常，压缩系统的说明并不明确定义这种处理，它们仅提供一组工具，在限制比特率的情况下，使用这些工具达到高编码质量与编码器设计者的灵巧设计相关。
加权预测特性
运动补偿(MC)是已知的基本视频编码特性。该特性在许多视频标准中广泛使用的元素是包括宏块(MB)的像素阵列。该阵列可使用固定尺寸和形状，或根据标准采用不同的尺寸和形状，但通常是16×16的视频数据像素阵列。图1中，编码期间，当前图像11中的每个MB14可根据指定的视频基准图像12的相同尺寸像素阵列15(或来自一些小尺寸块视频数据阵列的组合所构成的16×16阵列)进行预测。加权预测是指，当执行MC处理时，加权来自基准图像的视频数据值，然后使用偏移量将其移位，以给出已修改过的用于编码当前像素的预测视频数据。
用作编码当前图像11的基准图像12，其可以是来自前面和/或后面的图像。前面的序列构成基准图像“list0”，后面的序列构成基准图像“list1”。在H.264/AVC标准中，可自由记录这种基准列表以满足编码需要。在每个处理级的片段处，可触发记录处理。片段是标准中定义的元素，其主要由包含在完整图像的子区域中的像素组成。完整视频图像可由单一片段构成，也可由多个小的视频片段组成。
ref_pic_list_reordering(){ C  Descriptor
  if(slice_type！＝I&&slice_type！＝SI){
    ref_pic_list_reordering_flag_I0 2  u(1)
    if(ref_pic_list_reordering_flag_I0)
      do{
        reordering_of_pic_nums_idc 2  ue(v)
        if(reordering_of_pic_nums_idc＝＝0‖reordering_of_pic_nums_idc＝＝1)
          abs_diff_pic_num_minus1 2  ue(v)
        else if(reordering_of_pic_nums_idc＝＝2)
          long_term_pic_num 2  ue(v)
      }while(reordering_of_pic_nums_idc！＝3)
  }
  if(slice_type＝＝B){
    ref_pic_list_reordering_flag_I1 2  u(1)
    if(ref_pic_list_reordering_flag_I1)
      do{
        reordering_of_pic_nums_idc 2  ue(v)
           if(reordering_of_pic_nums_idc＝＝0‖reordering_of_pic_nums_idc＝＝1)
         abs_diff_pic_num_minus1 2  ue(v)
       else if(reordering_of_pic_nums_idc＝＝2)
         long_term_pic_num 2  ue(v)
      }while(reordering_of_pic_nums_idc！＝3)
  }
}
表1：H264片段头语法摘录
表1是H264标准中以表格形式定义的部分基准句法。表中的两个参数“ref_pic_list_reordering_flag_I0”和“ref_pic_list_reordering_flag_I1”可分别被设置为0或1以打开或者关闭重排序函数(reordering function)，重排序函数允许将解码器指向特定的基准图像。第一个参数指示P图像的解码，第二个指示B图像的解码。片段头句法的前面，通过参数“slice_type”定义了当前图像类型。如果将第一个ref_pic_list_reordering_flag参数设置为0，则没有重排序，默认地，解码器仅根据第一幅紧接着的先前图像中给定的单一基准图像进行简单的解码操作。为使本发明能起作用，该参数必须设置为1，以允许多个基准图像。在MB级指示这些特定参考图像，并通过每个MB头中的参数“ref_idx”实现。类似地，对于B图像，参数ref_pic_list_reordering_flag_I1必须设置为1以激活多个基准图像。其它的独立参数确保正确设置编码器以按照需要进行解码。这样，句法中不同级所携带的参数组合确保对编码器的设置，以恰当地指示编码器使本发明能够被应用。
解码器端获取的加权参数的句法与表2中给出的类似，表2也是参数“pred_weight_table”下的部分片段头句法，参数“pred_weight_table”提供打开或关闭加权行为的标志，当打开时，应用权值和偏移量。单独提供了亮度和色度的权值和偏移量。表的较低部分应用于B图像。
需要对亮度(luma)像素和色度(chroma)像素分别进行加权。例如：当使用亮度和list type0中的基准图像时，加权应用中的关键参数是：
luma_log2_weight denom(注：以下称为logWD)，
luma_weight_I0[i](注：以下称为w0)，以及
luma_offset_I0[i](注：以下称为o0)。
在片段处理级可以触发解码器处理中的函数调用“pred_weight_able()”。一旦这三个参数值可用，就调用H.264/AVC规则中的相关公式；规则中的方程式8-270如下：
if(logWD＞＝1)
predPartC[x，y]＝CliplC{((predPartL0C[x，y]*w0+2logWD-1)＞＞logWD)+o0}
  else
predPartC[x，y]＝CliplC{predPartL0C[x，y]*w0+o0}
其中，符号“＞＞”是右移一位运算符，因此x＞＞y表示x被2整除y次。
pred_weight_table(){ C  Descriptor描述符
  luma_log2_weight_denom  2  ue(v)
  if(chroma_format_idc！＝0)
    chroma_log2_weight_denom  2  ue(v)
  for(i＝0；i＜＝num_ref_idx_I0_active_minus1；i++){
    luma_weight_I0_flag  2  u(1)
    if(luma_weight_I0_flag){
      luma_weight_I0[i]  2  se(v)
      luma_offset_I0[i]  2  se(v)
    }
    if(chroma_format_idc！＝0){
      chroma_weight_I0_flag  2  u(1)
      if(chroma_weight_I0_flag)
        for(j＝0；j＜2；j++){
          chroma_weight_I0[i][j]  2  se(v)
          chroma_offset_I0[i][j]  2  se(v)
        }
      }
    }
  if(slice_type＝＝B)
    for(i＝0；i＜＝num_ref_idx_I1_active_minus1；i++){
      luma_weight_I1_flag  2  u(1)
      if(luma_weight_I0_flag){
      luma_weight_I1[i]  2  se(v)
      luma_offset_I1[i]  2  se(v)
    }
    if(chroma_format_idc！＝0){
      chroma_weight_I1_flag  2  u(1)
      if(chroma_weight_I1_flag)
        for(j＝0；j＜2；j++){
          chroma_weight_I1[i][j]  2  se(v)
          chroma_offse_I1[i][j]  2  se(v)
        }
      }
    }
}
表2：片段头语法摘
变量predPartL0C和predPartC与预测处理相关，CliplC是一剪裁函数(clip function)，其确保预测的亮度值落入范围[0，255]。变量x和y表示图像内给定像素的位置。参数“predPartL0C”指示解码器使用list0集合中的基准图像，并且单一图像列表的使用意味着该公式用于P图像。
就MPEG-2标准来说，P图像和B图像的概念存在于H.264/AVC标准中。“P图像”是“Predictive picture”(“预测图像”)，而“B图像”是“Bi-predictive or interpolative picture”(“Bi预测图或内插图像”)。在MPEG-2标准中，其称为双向(预测)图像；而在H.264/AVC标准中，改变了这个定义。
简言之，P图像根据单一基准图像提供预测，但可根据诸如list0的较长的基准图像列表中的任何基准图像提供预测，而B图像根据一前一后两个基准图像做组合预测。因此，上述H.264/AVC方程8-270可改进为H.264/AVC方程8-272：
predPartC[x，y]＝
  CliplC{((predPartL0C[x，y]*w0+(predPartL1C[x，y]*w1+2logWD)＞＞
logWD+1))+((o0+o1+1)＞＞1)}
存在根据基准list0的一个预测和根据基准list1的另一个预测，可将二者进行合并，例如以固定的操作进行平均或相加，通常，等分两个图像的所有值并将两部分相加。将附加的加权和偏移函数应用到合并处理中，并在其相加前分别应用到两个贡献部分中的每一个，然后在方程最后，通过＞＞1操作将和除以2。
发明内容
本发明的一个目的是提供一种方式，使得可使用加权特性提高图像编码质量，尤其是在处理渐变的处理中或在图像的某个小区域明显不同于其它区域，并且需要使用较多的本地相关编码参数而系统句法的片段级仅提供一组全局参数的情况。MB级并不给出这些本地化参数的改变，因此如这里所描述的，片段级需要做适当的调整。
根据本发明，提供了一种使用至少两个基准图像来编码源图像的方法，包括以下步骤：基于预定的规则，将源图像分割成区域；使用预定的规则，将至少两个基准图像分割成相应区域。通过使用基准图像区域和源图像相应区域的平均亮度差，对至少一个基准图像的至少一个区域的亮度值进行加权和偏移，以及通过对来自至少两幅基准图像的亮度值进行平均或求和，以至少确定用于源图像的亮度值。
便利地，该方法进一步包括：在视频压缩系统的预处理级，检测基准图像和源图像间的渐变，并在检测到渐变时使用该方法。
可选地，该方法进一步包括：检测因闪光或短时间镜面反射造成的局部区域和其邻接区域在内容上不同的情况，并在检测到这种不同时使用该方法。
有利地，预定的规则是用于确定区域间视觉差异的心理视觉模型。
便利地，心理视觉模型是区域内亮度对比度的度量。
可选地，心理视觉模型是区域内纹理的度量。
可选地，至少两幅基准图像包括一幅重复的基准图像。
便利地，至少一个区域是不连续的，并且包括区域的隔离部分。
优选地，该方法进一步包括：确定色度值，并且对来自至少两幅基准图像的已加权和偏移的色度值进行平均或求和。
附图说明
以下参考附图说明本发明。
图1是已知的运动向量导出示意图；
图2描述了视频亮度值渐变中的亮度范围的变化；
图3是根据本发明的使用加权和偏移估计来对渐变进行编码的方法流程图；
图4是根据本发明的使用加权和偏移的视频编码的示意性描述；
图5描述了根据本发明的使用加权估计的视频亮度渐变的亮度范围选择；和
图6是根据本发明的确定亮度值的方法流程图。
附图中，同一附图标记表示同一部分。
具体实施方式
在渐变中，一系列图像逐渐提高或降低亮度和色度幅度，通常是从诸如表示黑色的0开始提高或降低到0。图2是一简化示例，其中logWD＝0并且仅从P图像示例中获取亮度值，所述P图像例如是序列中的前一图像。图2中，线21表示8位二进制系统中亮度信号可获取的最大范围。线22表示基准图像的基准MB内亮度的实际范围，具体来说，其在整数a和b之间(a，b∈[0，255])。线23表示当前图像内MB像素值的实际范围，其在c和d之间。假设基准图像内所有亮度值均在范围[a，b]内，当前图像内所有亮度值均在范围[c，d]内，还假设由基准图像(Ref-pic)22向当前图像(Cur-pic)23，朝亮度的黑色方向进行线性渐变。换言之，a和c趋于0，b和d也一样。
因此，范围[a，b]大于范围[c，d]，并且a＞c以及b＞d。具有以下方程：
lumac＝lumaa*w0+o0；
lumad＝lumab*w0+o0；
可变形为
w0＝(lumac-lumad)/(lumaa-lumab)；
o0＝(lumaa*lumad-lumab*lumac)/(lunaa-lumab)。
通常，加权和偏移估计处理完全是一编码器处理。当生成恰当的加权和偏移时，解码器可根据标准说明进行加权预测。虽然此处描述了将加权预测应用到视频的渐变，但加权预测还具有其它应用，例如应用于处理也能够降低编码性能的短时间闪光和镜面高光中。该方法允许加权因子在MB级可变，在片段级通常不可变。
可使用非常复杂的方式进行加权预测，这意味着一些加权预测方法可能不实用。在本发明中，阐释了生成可用的加权和偏移的创新的实践方法，以有效利用H.264/AVC标准中的加权预测特性。
编码方法
图3是在所要求的编码器的预处理级执行的编码器端的加权和偏移的估计32的结构图。该预处理级具有图像序列的行为知识，可以评估如何处理一个完整编码处理中的序列图像，而不仅仅是这些加权和偏移。假设当前视频编码标准均使用已定义的包括像素阵列的结构，则要求该预处理能够将所述行为知识应用到诸如MB和片段等的每个图像的子区域中。该处理中，可使用心理视觉模型以确定视频素材中的某些特性的可见性。
这样，例如即使在31中，视频预处理器检测到视频渐变时，渐变通常并非完全是线性的，而且其特点是随连续视频图像的不同部分的变化而变化。为阐释如何处理这种渐变，可考虑一个简单的例子。
简单P图像示例中的区域自适应的加权和偏移估计
参考图4，不失一般性，为了在基准图像42，44的列表中出现两次，至少使用一幅P图像作为基准图像41并被再次安排，因此，将两个或多个不同的以参数RefIdx表示的基准索引分配给基准图像的实例，虽然所述基准图像在内容上是实质上相同的。至少两次42，44中，通过使用相同的基准图像41，可将两组或多组不同的加权和偏移应用到基准图像41中的两个或多个不同区域41a，41b。理论上，该处理可重复用于所要求的大量不同的参数集。
进一步地，参考图6，通过使用来自预处理器的关于图像内容的信息，识别61并标记共享类似特点的图像的区域41a，41b，轮流分析每个区域并将数据发送到解码器，以协助加权和偏移估计。适当使用基准图像41的若干区域41a，41b的纹理信息，将心理视觉模型应用到所述分析中。可选地，例如可将局部对比度度量应用到任意给定图像，随后将上述图像分割为高活动区域和低活动区域，上述对比度度量例如是构成“Determining visually noticeable differences between two images”EP0986264的一部分。通常，EP0986264描述了一种心理视觉建模算法，该算法使用像素级的局部对比度信息对诸如视频帧图像的任意两幅给定图像中的具有化妆效果的人进行预测。可估计两幅图像间每个像素位置处差别的可见度。
还需要对当前图像45进行相应分割。通常，基于MB，分割62成区域45a，45b，也就是，将区域边界47仅放置在MB边界。标记为基准图像41中的第一区域41a的MB的数量和位置可以与标记为当前图像45中的第一区域45a的MB的数量和位置不同。本发明根据区域估计加权和偏移，该例子中，根据第一和第二区域，但也可以根据更多区域。
在基准图像和当前图像上完成标记处理后，以例如图4所示的平均方式，比较基准图像41的第一区域41a和当前图像45中的第一区域45a中的视频数据(亮度)。第二区域41b，45b中的视频数据也进行相同处理。这样，在处理处理的最后，对第一区域41a，45a将生成63可称之为集合I的一组加权和偏移。同时，还将生成63适合于第二区域41b，45b视频数据的称之为集合II的第二组加权和偏移。然后，包括在当前解码图像46的MB头内的索引-RefIdx将指示用来携带“集合I”数据而使用的基准图像42。用于另一基准图像44的另一个RefIdx索引值携带“集合II”数据。
这样，对当前正被解码的图像46来说，片段头将确定其多个解码序列，尤其是可获取的基准图像42或44。此外，用于MB的运动向量将指向用于解码的那些基准图像内的特定像素细。该向量可指向基准图像的区域I或区域II。MB头也将携带编码器的命令，上述命令通过选择RefIdx值加权以使用，上述RefIdx值能够对使加权专用于MB产生影响。这意味着当前图像46的区域I中的MB不能使用基准图像42或44的区域I的基准素材；区域II也类似。
这样，当使用集合I的加权和偏移时，对于相关的特定基准图像42，将上述加权和偏移应用到其第一和第二区域I和II41a，41b中。典型地，期望区域I的特定加权和偏移将为视频数据相关的区域I41a提供更好的预测。但是对于与标记边界47邻接的任何MB来说，最合适的加权和偏移可能来自区域I或区域II。如本地行为所决定的，标记区域，区域I或区域II可包含图像内的不同独立区域。
上述示例仅对亮度进行了描述，但也等效与使用色度或亮度与色度的组合；该例子中，基于区域的亮度值将用于区域加权/偏移估计。这需要如图4所示的三幅标记图像42，44和46。将该处理处理的输出结果分别分离出区域I45a和区域II45b的加权和偏移。在渐变的例子中将进行一个与图4所示的类似的处理，并因此转换区域加权。
这样，提供了一种通过完整图像估计可变加权和偏移的明智方法。将根据视频内容偏置权值。图像分段的相关算法自身也随时间而发展和改进。在该使用两区域标记方法的例子中，选择一个基准图像的索引来携带一组加权和偏移，但也决定了其它基准图像的索引将不携带任何加权，这与常规的MPEG-2视频预测处理类似，也就是说，没有加权预测。
使用超过两幅基准图像
至此，简单地说，描述已经覆盖了仅使用一幅基准图像41但基准图像在基准列表中至少出现两次42，44的情况。理论上，多幅基准图像也可使用这种操作。进一步可考虑B图像的情况。这种情况下，首先需要独立考虑通常出现在源图像之前的list0的基准图像，然后独立考虑通常出现在源图像之后的list1的基准图像，最后执行双向预测处理。
H.264/AVC标准中，通过以下参数触发这种机制：
weighted_pred_flag(用于P图像情况)和
weighted_bipred_idc(用于B图像情况)
两个参数均携带在用于图像参数集(pic_parameter_set)的句法中，H.264/AVC标准的图像参数集如表3所示。
pic_parmeter_set_rbsp(){
  pic_parameter_set_id
  seq_parameter_set_id
  entropy_coding_mode_flag
  pic_order_present_flag
  num_slice_groups_minus1
  if(num_slice_groups_minus1＞0){
    slice_group_map_type
    if(slice_group_map_type＝＝0)
      for(iGroup＝0；iGroup＜＝num_slice_groups_minus1；iGroup++)
        run_length_minus1[iGroup]
    else if(slice_group_map_type＝＝2)
      for(iGroup＝0；iGroup＜num_slice_groups_minus1；iGrup++){
        top_left[iGroup]
        bottom_right[iGroup]
      }
    else if(slice_group_map_type＝＝3‖
          slice_group_map_type＝＝4‖slice_group_map_type＝＝5){
     slice_group_change_direction_flag
     slice_group_change_rate_minus1
    }else if(slice_group_map_type＝＝6){
     pic_size_in_map_units_minus1
     for(i＝0；i＜＝pic_size_in_map_units_minus1；i++)
       slice_group_id[I]
    }
  }
  num_ref_idx_I0_active_minus1
  num_ref_idx_I1_active_minus1
  weighted_pred_flag
  weighted_bipred_idc
  pic_init_qp_minus26/*relative to 26*/
  pic_init_qs_minus26/*relative to 26*/
  chroma_qp_index_offset
  deblocking_filter_control_present_flag
  constrained_intra_pred_flag
  redundant_pic_cnt_present_flag
  if(more_rbsp_data()){
    transform_8x8_mode_flag
    pic_scaling_matrix_present_flag
    if(pic_scaling_matrix_present_flag)
      for(i＝0；i＜6+2*transform_8x8_mode_flag；i++){
        pic_scaling_list_present_flag[i]
        if(pic_scaling_list_present_flag[i])
          if(i＜6)
              scaling_list(ScalingList4x4[i]，16
                           UseDefaultScalingMatrix4x4Flag[i])
          else
             scaling_list(ScalingList8x8[i-6]，64UseDefaultScalingMatrix8x8Flag[i-6])
      }
    second_chroma_qp_index_offset
  }
  rbsp_tralling_bits()
}
表3
可以看到，标记weighted_pred_flag和weighted_bipred_idc包括在这里。
因为这么简单的方法稳定性差，所以图5中对上述方法进行了修改。可以理解加权的预测仅具有较好的统计学意义，因此，为提高编码效率，获取较平均的加权和偏移至关重要。与其使用范围表达式[低，高]中的亮度值“低”和“高”，还不如先在范围[低，高]寻找一个中间值，例如均值或中值，并将其命名为“中间”。将亮度值分为两个区域[低，中间]和[中间，高]。对于这些单独的区域，通过另一平均处理，分别计算表示上述两个不同区域的亮度值“a”和亮度值“b”。
将类似的处理应用到当前图像，因此计算出表示的亮度值“c”和“d”。无需改变给定的公式，上述修订后的与区域(I或II)相关的加权和偏移也随后被获取，并被传输到解码器。该处理可按照需要扩展。
其它需要考虑的事项
实际编码器硬件中，通常仅对视频亮度数据进行运动评估(ME)处理。因此，实际上，在色度运动补偿处理的处理中，仍使用亮度的运动向量(MV)；没有独立的针对色度视频数据的运动搜索。很多情况下，高活动纹理可能较低活动区域中更能影响加权预测的准确性，也就是说，低活动区域更有助于获取更加稳定的较好的平均加权预测。因此，对于两个RefIdx(0和1)来说，RefIdx＝0携带从低活动区域获取的一组加权和偏移，将这组加权和偏移传输到解码器，以解码色度和亮度。同时，对RefIdx＝1采取不同的处理方法，当RefIdx＝1时，对解码色度不传输任何加权和偏移。这意味着，当选择该基准图像索引时，实际上没有任何加权预测被应用到色度视频数据中，就像不使用加权的预测特征的通常编码一样。
还要检查对高活动区域的加权和偏移评估。如果这组加权和偏移与低活动区域中获取的非常接近，则在RefIdx＝1时将这组加权和偏移应用到亮度视频数据中，否则没有任何加权参数被传输到亮度视频数据，也就是说，对亮度不执行加权预测。这种设计有助于提高该方法在某些情况下的性能，例如当渐变检测错误时，或者加权参数评估的精度不足以为视频编码带来益处时，那么通过选择没有加权预测采用基本方法。
这样，本发明提供了一种新颖的方法，其中可使用加权特性提高图像编码质量。使用该特性的一个示例是处理MPEG2系统中无法较好编码的渐变。
这样，提供了一种向接收器传送若干组适用于编码图像的若干区域的加权参数，该编码图像可具有相互不同的局部属性。公知的编码方案中，使用仅一组编码参数对整幅图像进行编码，但本发明将图像分割成区域，通常共享属性的区域将受益于适用于每个区域行为的给定的加权参数值。将图像分割后，便可通过调整诸如MPEG的使用中的视频编码标准的句法，为整幅图像传输若干组加权参数。

Claims (9)

1.一种使用至少两幅基准图像来编码源图像的方法，包括以下步骤：
a.基于预定的规则，将源图像分割成区域；
b.使用预定的规则，将至少两个基准图像分割成相应区域；和
c.通过基准图像的区域和源图像的相应区域之间的平均亮度差，对至少一个基准图像的至少一个区域的亮度值进行加权和偏移；和
d.通过对来自至少两幅基准图像的经过加权和偏移的亮度值进行平均或求和，以至少确定用于源图像的亮度值。
2.如权利要求1所述的方法，进一步包括：在视频压缩系统的预处理级，检测基准图像和源图像之间的渐变，并在检测到渐变时使用所述方法。
3.如权利要求1所述的方法，进一步包括：检测因闪光或短时间镜面反射造成的局部区域与其邻接区域在内容上不同的情况，并在检测到这种不同时使用所述方法。
4.如前述任一权利要求所述的方法，其中所述预定的规则是用于确定区域之间的视觉差异的心理视觉模型。
5.如权利要求4所述的方法，其中所述心理视觉模型是区域内亮度对比度的度量。
6.如权利要求4所述的方法，其中所述心理视觉模型是区域内纹理的度量。
7.如前述任一权利要求所述的方法，其中所述至少两幅基准图像包括重复的基准图像。
8.如前述任一权利要求所述的方法，其中至少一个区域是不连续的，而是包括区域的隔离部分。
9.如前述任一权利要求所述的方法，进一步包括：确定色度值，并对来自所述至少两幅基准图像中的经过加权和偏移的色度值进行平均或求和。
CNA2007101800841A 2006-12-21 2007-12-21 加权预测视频编码 Pending CN101227608A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB0625611A GB2444992A (en) 2006-12-21 2006-12-21 Video encoding using picture division and weighting by luminance difference data
GB0625611.9 2006-12-21

Publications (1)

Publication Number Publication Date
CN101227608A true CN101227608A (zh) 2008-07-23

Family

ID=37734679

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007101800841A Pending CN101227608A (zh) 2006-12-21 2007-12-21 加权预测视频编码

Country Status (4)

Country Link
US (1) US20080198927A1 (zh)
EP (1) EP1936994A3 (zh)
CN (1) CN101227608A (zh)
GB (1) GB2444992A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102124738A (zh) * 2008-08-13 2011-07-13 汤姆森特许公司 修改参考图像的参考块的方法、借助参考块编码或解码图像的块的方法及其装置，以及承载借助于修改后的参考块而编码的块的存储介质或信号
CN103262535A (zh) * 2010-10-19 2013-08-21 弗兰霍菲尔运输应用研究公司 利用时间性一致动态范围映射的视频编码技术
CN106791833A (zh) * 2012-06-27 2017-05-31 株式会社东芝 编码方法、解码方法、编码设备以及解码设备
CN108513133A (zh) * 2011-12-22 2018-09-07 三星电子株式会社 视频解码设备
CN115063306A (zh) * 2022-05-26 2022-09-16 北京极感科技有限公司 图像的亮度匹配方法、设备、存储介质及计算机程序产品

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8270483B1 (en) * 2008-01-18 2012-09-18 Maxim Integrated Products, Inc. Method and apparatus for applying accurate parameter estimation and efficient fade detection in weighted prediction for video compression
TW201025249A (en) * 2008-12-16 2010-07-01 Chunghwa Picture Tubes Ltd Depth-fused 3D display, driving method thereof and driving circuit thereof
TWI498003B (zh) 2009-02-02 2015-08-21 Thomson Licensing 代表一序列圖像的碼式資料連流之解碼方法和一序列圖像之寫碼方法及碼式圖像資料結構
WO2011019384A1 (en) * 2009-08-11 2011-02-17 Thomson Licensing Methods and apparatus for generalized weighted prediction
JP2011151683A (ja) * 2010-01-22 2011-08-04 Sony Corp 画像処理装置および方法
US9161058B2 (en) * 2010-03-27 2015-10-13 Texas Instruments Incorporated Method and system for detecting global brightness change for weighted prediction in video encoding
EP2375754A1 (en) * 2010-04-09 2011-10-12 Mitsubishi Electric R&D Centre Europe B.V. Weighted motion compensation of video
US9521424B1 (en) 2010-10-29 2016-12-13 Qualcomm Technologies, Inc. Method, apparatus, and manufacture for local weighted prediction coefficients estimation for video encoding
US20120207214A1 (en) * 2011-02-11 2012-08-16 Apple Inc. Weighted prediction parameter estimation
KR20120095611A (ko) * 2011-02-21 2012-08-29 삼성전자주식회사 다시점 비디오 부호화/복호화 방법 및 장치
JP2012244353A (ja) * 2011-05-18 2012-12-10 Sony Corp 画像処理装置および方法
US9473769B2 (en) * 2012-06-08 2016-10-18 Texas Instruments Incorporated Method and system for reducing slice header parsing overhead in video coding
US9485506B2 (en) * 2012-09-11 2016-11-01 Texas Instruments Incorporated Method and system for constraining slice header processing overhead in video coding
US10785482B2 (en) 2012-09-24 2020-09-22 Texas Instruments Incorporated Method and system for constraining tile processing overhead in video coding
DE102014220809A1 (de) * 2014-10-14 2016-04-14 Siemens Aktiengesellschaft Vorrichtung und Verfahren zum Detektieren eines sich bewegenden Objekts
WO2019001685A1 (en) * 2017-06-26 2019-01-03 Telefonaktiebolaget Lm Ericsson (Publ) METHOD AND APPARATUS FOR WEIGHTED VIDEO CODING PREDICTION
CN114731442B (zh) * 2019-09-16 2023-12-01 Lg电子株式会社 使用加权预测的图像编码/解码方法和装置以及发送比特流的方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5245436A (en) * 1992-02-14 1993-09-14 Intel Corporation Method and apparatus for detecting fades in digital video sequences
US5561477A (en) * 1994-10-26 1996-10-01 Thomson Consumer Electronics, Inc. System for coding a video signal in the presence of an image intensity gradient
US5920360A (en) * 1996-06-07 1999-07-06 Electronic Data Systems Corporation Method and system for detecting fade transitions in a video signal
US6040875A (en) * 1998-03-23 2000-03-21 International Business Machines Corporation Method to compensate for a fade in a digital video input sequence
GB9819648D0 (en) 1998-09-10 1998-11-04 Nds Ltd Determining visually noticeable differences between two images
US6868122B2 (en) * 2001-02-07 2005-03-15 Sun Microsystems, Inc. Distributed intraframe transmission in digital video compression
US7463684B2 (en) * 2002-05-03 2008-12-09 Microsoft Corporation Fading estimation/compensation
US7310445B2 (en) * 2003-11-26 2007-12-18 International Business Machines Corporation Classification of image blocks by region contrast significance and uses therefor in selective image enhancement in video and image coding
US8457203B2 (en) * 2005-05-26 2013-06-04 Ntt Docomo, Inc. Method and apparatus for coding motion and prediction weighting parameters

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102124738A (zh) * 2008-08-13 2011-07-13 汤姆森特许公司 修改参考图像的参考块的方法、借助参考块编码或解码图像的块的方法及其装置，以及承载借助于修改后的参考块而编码的块的存储介质或信号
CN102124738B (zh) * 2008-08-13 2013-05-08 汤姆森特许公司 修改参考图像的参考块的方法、借助参考块编码或解码图像的块的方法及其装置
TWI575931B (zh) * 2008-08-13 2017-03-21 湯姆生特許公司 參照影像的參照圖素之參照段修飾方法，以及影像借助參照影像之編碼或解碼裝置
CN103262535A (zh) * 2010-10-19 2013-08-21 弗兰霍菲尔运输应用研究公司 利用时间性一致动态范围映射的视频编码技术
CN103262535B (zh) * 2010-10-19 2016-08-31 弗劳恩霍夫应用研究促进协会 利用时间性一致动态范围映射的视频编码技术
CN108513133A (zh) * 2011-12-22 2018-09-07 三星电子株式会社 视频解码设备
CN108881919A (zh) * 2011-12-22 2018-11-23 三星电子株式会社 视频解码方法
CN108881919B (zh) * 2011-12-22 2021-01-08 三星电子株式会社 视频解码方法
CN108513133B (zh) * 2011-12-22 2022-05-03 三星电子株式会社 视频解码设备
CN106791833A (zh) * 2012-06-27 2017-05-31 株式会社东芝 编码方法、解码方法、编码设备以及解码设备
CN106791833B (zh) * 2012-06-27 2019-10-11 株式会社东芝 编码方法、解码方法、编码设备以及解码设备
CN115063306A (zh) * 2022-05-26 2022-09-16 北京极感科技有限公司 图像的亮度匹配方法、设备、存储介质及计算机程序产品

Also Published As

Publication number Publication date
GB0625611D0 (en) 2007-01-31
EP1936994A2 (en) 2008-06-25
US20080198927A1 (en) 2008-08-21
EP1936994A3 (en) 2008-11-05
GB2444992A (en) 2008-06-25

Similar Documents

Publication Publication Date Title
CN101227608A (zh) 加权预测视频编码
CN105264888B (zh) 用于对色彩空间、色彩采样率和/或比特深度自适应切换的编码策略
CN105706450B (zh) 根据基于散列的块匹配的结果的编码器决定
CN105556971B (zh) 针对帧内块复制预测中的块翻动和跳跃模式的编码器侧判定
KR102358276B1 (ko) 비디오 코딩을 위한 해시 기반 인코더 결정
US9402087B2 (en) Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, and picture decoding program
CN105230023B (zh) 色彩空间、色彩采样率和/或比特深度的自适应切换
CN103081468A (zh) 用于视频编码和处理的光照补偿和转变的方法及系统
US20150264383A1 (en) Block Copy Modes for Image and Video Coding
CN101529921A (zh) 无显式信令的局部照明和色彩补偿
CN113056910B (zh) 用于视频编码的运动矢量预测子索引编码
CN112135144B (zh) 一种编解码方法、装置及其设备
WO2021196242A1 (zh) 一种帧间预测方法、编码器、解码器及存储介质
CN101945277A (zh) 处理多视图视频
CN112868231B (zh) 视频编码和解码
CN112889285B (zh) 视频编码和解码
JP2009005280A (ja) 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびコンピュータ読み取り可能な記録媒体
KR20070075043A (ko) 고속 움직임 및 변이 추정 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
ASS Succession or assignment of patent right

Owner name: L.M. ERICSSON CO., LTD.

Free format text: FORMER OWNER: TANDBERG TELEVISION

Effective date: 20090605

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20090605

Address after: Stockholm

Applicant after: ERICSSON AB

Address before: Oslo, Norway

Applicant before: Tandberg Television ASA

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20080723