CN104081771B - 用于对图像序列中的图像进行压缩编码的方法和设备 - Google Patents

用于对图像序列中的图像进行压缩编码的方法和设备 Download PDF

Info

Publication number
CN104081771B
CN104081771B CN201180074861.9A CN201180074861A CN104081771B CN 104081771 B CN104081771 B CN 104081771B CN 201180074861 A CN201180074861 A CN 201180074861A CN 104081771 B CN104081771 B CN 104081771B
Authority
CN
China
Prior art keywords
image
macro block
compression
image information
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201180074861.9A
Other languages
English (en)
Other versions
CN104081771A (zh
Inventor
A·博克
D·克莱韦尔
T·阿马拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN104081771A publication Critical patent/CN104081771A/zh
Application granted granted Critical
Publication of CN104081771B publication Critical patent/CN104081771B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H04N19/865—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness with detection of the former encoding block subdivision in decompressed video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及用于对图像序列中的图像进行压缩编码的方法和设备。具体而言，本发明涉及用于对图像序列中的图像进行压缩编码的方法和设备，从而在维持良好图像质量的同时提供具有低等待时间的压缩编码和解码。本发明提供了对图像序列中的图像进行压缩编码的方法，其中图像序列中的图像被编码为具有单个参考图像的预测编码图像，并且具有至少两个宏块集合。一个集合是刷新集合，其中宏块被图像内编码。不使用去区块滤波器来解码用于压缩编码图像信息的解码的压缩编码图像信息。

Description

用于对图像序列中的图像进行压缩编码的方法和设备
技术领域
本发明涉及用于对图像序列中的图像进行压缩编码的方法和设备。具体而言，本发明涉及用于对图像序列中的图像进行压缩编码的方法和设备，其意在维持良好图像质量的同时提供具有较低等待时间的压缩编码和解码。
背景技术
在广播视频业界，在跨通信链路传输视频信号之前都要对其进行压缩，从而最小化传输所需的带宽。在诸如现场体育赛事、体育博彩和在现场记者和新闻演播室之间具有双向对话的数字卫星新闻采集(DSNG)链路等某些应用下，经常期望能够提供跨通信链路具有较低等待时间的高质量中继(trunk)视频服务。
本领域技术人员将得知，视频压缩方法一般利用图像内的空间冗余以及在当前图像和图像序列中的其它图像之间的时间冗余，从而减低以特定质量水平呈现图像所需的比特数量。然而，当前压缩方法中的一些方法使用的压缩技术导致复杂度增加，并且导致压缩编码和压缩解码技术中的等待时间增加。
一种降低视频广播系统中的端到端延迟的直接方法是通过避免使用双向预测帧(B帧)来移除重排序延迟(reordering delay)。为了实现甚至更低的延迟，编码器处可以使用更小的速率缓冲器。然而，这也降低了速率缓冲器在平滑不同帧类型的相对比特成本中的固有变化性时的效率。相比于预测(P)图像来说，对于相同视频质量，帧内编码(I)图像一般使用明显更多的比特以进行编码，而只是因为帧内编码(I)图像没有通过使用来自图像序列中的其它图像的时间预测来利用冗余。
尽管帧内编码(I)图像的比特成本较高，还是通常将帧内编码(I)图像周期性地编码进视频流以允许随机访问(信道改变)。如果放松了对于帧内编码(I) 图像插入的需求，则编码器处可以使用更小的速率缓冲器，并且可以实现更小的端到端延迟，然而，不使用帧内(I)图像，接收器可能不得不在随机点锁定入流，并且在该随机访问点，在编码器和解码器之间的参考帧缓冲器将失配，从而导致所解码图像中的显著的伪像块(blockartfacts)。
在由国际标准组织(ISO)/国际电工委员会(IEC)运动图像专家组(MPEG) 所标准化的MPEG2压缩编码方案(ISO/IEC13818)中使用的帧内刷新模式中，对每个预测(P)图像中的多个独立宏块进行帧内编码，并且在连续的图像中帧内编码的宏块的位置是不同的，从而在较短图像序列之后，所有的宏块位置都已被帧内编码至少一次。在一段时间后，由于重复的帧内宏块刷新，编码器和解码器参考缓冲器之间的参考帧的差异趋向于减小至观众不会注意到的程度。
现在广泛使用的是由ITU-T视频编码专家组(VCEG)和国际标准组织(ISO) /国际电工委员会(IEC)运动图像专家组(MPEG)共同开发的H.264/MPEG-4 AVC压缩方案标准，相比于之前的压缩标准，该压缩方案标准具有能够实现更高压缩效率的许多特性。
本发明的目的是减少至少一些现有技术的缺点，并且提供用于压缩编码图像序列中的图像的新颖的方法和设备。
发明内容
依据本发明的一个方面，提供了一种对图像序列中的图像进行压缩编码的方法。对于图像中的图像信息的多个宏块的每个宏块，该方法包括：第一步骤，即确定宏块是否属于图像的刷新集合。在第二步骤中为该宏块选择第一宏块编码处理或第二宏块编码处理，其中为被确定为在刷新集合中的所有宏块选择第二宏块编码处理。在第三步骤中，根据所选择的第一宏块编码处理或第二宏块编码处理，使用未应用去区块从先前的压缩的图像信息解码的所解码图像信息对宏块的图像信息进行压缩编码，以形成压缩的图像信息，其中，在第一宏块编码处理期间使用来自图像序列中的先前参考图像的所解码图像信息，且在第二宏块编码处理期间使用来自当前图像的所解码图像信息。在第四步骤中，将指示在对压缩的图像信息进行压缩解码期间未应用去区块的去区块参数，以及指示在第二宏块编码处理中使用了单个参考图像的参考图像参数与图像的压缩的图像信息相关联。
在一些实施例中，在图像序列的连续图像中，图像内的刷新集合的位置将会发生改变，从而经过多个图像之后，已使用第二宏块编码处理对所有宏块位置进行压缩编码。
在一些实施例中，刷新集合包括一行宏块。在其它实施例中，刷新集合包括图像内的每个第n个宏块。
在一些实施例中，关联的步骤还包括将图像和序列参数集合与压缩的图像信息相关联的步骤。
在一些实施例中，在第一宏块编码处理的步骤中使用的缩放因子与在第二宏块编码处理的步骤中使用的缩放因子不同，因此缩放因子之间的差随着水平和垂直变换系数的增加而增加。
在一些实施例中，选择缩放因子，使得在第一宏块编码处理和第二宏块编码处理中使用的缩放因子之间的差处于由图10和图11a-11d所定义的上限和下限构成的范围内。
在一些实施例中，用于缩放因子的缩放列表与压缩的图像信息相关联。
依据本发明的第二个方面，提供了一种用于对图像序列中包括的图像进行压缩编码的设备。该设备具有耦合以接收宏块图像信息并且形成输出压缩的图像信息的编码器。编码器包括第一宏块编码器，其布置为使用来自图像序列中的一个先前的参考图像的所解码图像信息来对宏块的图像信息进行压缩编码，以形成压缩的图像信息。编码器还包括第二宏块编码器，其布置为使用来自当前图像的所解码图像信息对宏块的图像信息进行压缩编码，以形成压缩的图像信息。编码器还包括图像存储器，用于存储未应用去区块从输出压缩的图像信息压缩解码的图像信息，图像存储器被耦合以向第一宏块编码器和第二宏块编码器提供所解码图像信息。该设备还具有编码器控制器，其用于控制编码器的操作。编码器控制器包括选择器元件，其布置为将图像中的多个宏块的每一个耦合到第一宏块编码器或第二宏块编码器以用于压缩编码，选择器元件可操作以为图像的刷新集合中的所有宏块选择第二宏块编码器。编码器控制器还包括参数关联元件，其可操作以将指示第二宏块编码器使用单个参考图像的参考图像参数，以及指示在对存储在图像存储器中的压缩的图像信息进行压缩解码期间没有应用去区块的去区块参数与图像的压缩的图像信息相关联。
在一些实施例中，该设备还包括集合确定元件，用于确定宏块是否位于所述图像的刷新集合中。
附图说明
现在将参考附图以示例的方式描述本发明：
图1是示出典型的视频信号传输系统的示意图；
图2是示出在压缩编码器中的参数集合和相应的压缩解码器中的参数集合之间关系的示意图；
图3示出依照本发明一个实施例的压缩编码器的相关元件的示意框图；
图4是示出依照可由图3所示的示例压缩编码器实现的示例实施例的方法的步骤的流程图；
图5示出刷新集合中的宏块的第一种排列；
图6示出刷新集合中的宏块的第二种排列；
图7示出刷新集合中的宏块的第三种排列；
图8示出刷新集合中的宏块的第四种排列；
图9示出刷新集合中的宏块的第五种排列；
图10是示出帧内(intra)和帧间(inter)缩放列表设置之间的差的范围的第一表格；以及
图11a-11d形成示出帧内和帧间缩放列表设置之间的差的范围的第二表格。
具体实施方式
在本发明的实施例中，提供了用于编码图像序列中的图像的方法和设备，其能实现低编码延迟以及高图像质量。为了实现低编码延迟，仅使用了具有单个参考图像的前向预测P图像。
在每个图像中，对刷新集合内的宏块强制进行图像内压缩编码，从而可以快速地最小化例如可由视频图像序列的剪辑所导致的编码器和解码器参考帧缓冲器之间的任何发散(divergence)。
在本发明的实施例中，通过选择合适的图像参考和去区块滤波器参数，可以维持视频的高视觉质量以及最小化帧内刷新模式的视觉影响。具体而言，对于图像序列的每个前向预测(P)图像仅使用单个参考图像，并且在解码压缩的图像信息时不执行去区块滤波。
此外，通过周期性发送图像参数集合和序列参数集合，允许对流中的随机访问，图像参数集合和序列参数集合向压缩解码器分别提供关于独立图像的信息以及关于图像序列中的所有图像的信息。
在本发明一些实施例中，通过选择合适的量化缩放矩阵和参数可以最小化帧内刷新模式的视觉影响。
可以使用由ITU-T视频编码专家组(VCEG)和国际标准组织(ISO)/国际电工委员会(IEC)运动图像专家组(MPEG)共同开发的H.264/MPEG-4AVC 压缩标准来实现本发明。
在前向预测P图像的压缩编码期间使用多个参考图像，在解码压缩的图像信息时使用去区块滤波器，这些方案被引入到H.264/MPEG-4AVC压缩标准中，以提高压缩效率和图像质量。
现在将参考附图来解释示例实施例。图1是示出典型视频传输系统10的示意图。视频传输系统10包括压缩编码器12和压缩解码器14。压缩编码器12 接收视频信号16，并且对视频信号16的图像序列进行压缩编码以产生压缩的比特流18。接着可跨通信信道传输压缩的比特流18，直到在压缩解码器14接收到压缩的比特流18。压缩解码器对接收到的压缩的比特流18进行压缩解码以获得压缩解码的视频信号20。
图2是示出在压缩编码器(例如压缩编码器12)和压缩解码器(例如压缩解码器14)中的参数集合之间关系的示意图。假设视频压缩编码器12按照压缩标准进行操作，并因此生成符合标准的压缩的比特流18。压缩解码器14遵从压缩标准，并因此压缩解码器14能够解码压缩的比特流18。在示例实施例中，假设视频压缩编码器12按照H.264/MPEG-4AVC压缩标准进行操作，并且压缩解码器14遵从H.264/MPEG-4AVC压缩标准。
本领域技术人员将显见，压缩编码器12被提供有编码器参数集合22，且压缩编码器12依照编码器参数集合22执行视频信号的压缩编码。类似地，本领域技术人员将显见，压缩解码器14被提供有解码器参数集合24，且压缩解码器14依照解码器参数集合24执行压缩的比特流的压缩解码。
为了使得压缩解码器14能够成功地解码从压缩编码器12接收到的比特流 18，解码器参数集合24必须对应于编码器参数集合22。在编码器参数集合22 内的参数必须与由压缩编码器12产生的压缩的图像信息相关联。大多数时候，如同本领域技术人员所熟悉的，在编码器参数集合22中的编码器参数26与比特流18中的报头信息内的压缩的图像信息相关联，或者与包括运动向量的压缩的图像信息相关联的序列参数集合或图像参数集合内的压缩的图像信息相关联，从而形成压缩的比特流18。然而，这不是必需的，且在一些实施例中，可能将编码器参数与要通过一些其它方式传输28到压缩解码器14的压缩的图像信息相关联，以用作参数解码器集合24。然而，在示例实施例中，假设在压缩的比特流中的报头信息中或者在序列参数集合或图像参数集合内，将与解码器的操作相关的参数从压缩编码器12发送到压缩解码器14。
现在将参照图3和图4来解释示例实施例。图3示出依照本发明一个实施例的压缩编码器的相关元件的示意框图。在示例实施例中，压缩编码器是遵从 H.264/MPEG-4AVC标准的压缩编码器。图4是示出依照可由图3所示的示例压缩编码器所实现的示例实施例的方法的步骤的流程图。
如图3所示，压缩编码器40包括编码器42和编码器控制器44。本领域技术人员将显见，为了清楚起见，在示例实施例中已经简化了压缩编码器40的元件。
编码器42布置为接收图像的图像信息46，对图像信息46进行压缩编码以产生压缩的图像信息48。如同本领域技术人员将得知的，压缩的图像信息48 形成由压缩编码器40输出的压缩的比特流50的一部分。
编码器42被提供有第一宏块编码器52，可操作以使用第一宏块编码处理对接收到的图像信息46进行压缩编码，以及第二宏块编码器54，可操作以使用第二宏块编码处理对接收到的图像信息46进行压缩编码，以下将参考图4对其进行详细说明。第一宏块编码器52和第二宏块编码器54都耦合到图像存储器 56，图像存储器56中存储从先前压缩编码的图像信息48压缩解码的图像信息 (如由虚线58表示)。
在该示例实施例中，由第一宏块编码器52使用的第一宏块编码处理是使用来自图像存储器56中的先前单独的参考图像的所解码图像信息的图像间图像压缩处理。在示例实施例中，由第二宏块编码器54使用的第二宏块编码处理是使用来自图像存储器56中的当前图像的所解码图像信息的图像内图像压缩处理。
将编码器元件分为图3中的第一宏块编码器52和第二宏块编码器54意在有助于示例实施例的描述。如同本领域技术人员将得知的，第一宏块编码器52 的元件和第二宏块编码器54的元件是类似的，并且通常主要结合在压缩编码器的实际实现方式中。
编码器控制器44控制编码器42的操作，以对接收到的图像信息46进行压缩编码。具体而言，编码器控制器44具有选择器元件60，选择器元件60操作来选择图像信息46的每个宏块是否要经过第一宏块编码器52的第一宏块编码处理，还是要经过第二宏块编码器54的第二宏块编码处理。编码器控制器44 还被提供有耦合到选择器元件60的刷新集合确定元件62，刷新集合确定元件 62布置为确定图像中的宏块是否是用于所述图像的刷新集合的一部分。
编码器控制器44被提供有用于在对图像序列中的图像进行压缩编码期间控制编码器42的操作的多个参数。图3示出与示例实施例的操作有关的参考图像参数64和去区块参数66。编码器控制器44还被提供有参数关联元件68，参数关联元件68可操作地将参考图像参数64和去区块参数66与压缩的图像信息 48相关联。在示例实施例中，通过将参考图像参数64和去区块参数66包括为报头信息70，作为压缩的比特流50的一部分，将这些参数与压缩的图像信息 48相关联。
本领域技术人员将显见可以通过不同的方式来实现压缩编码器40。具体而言，可以通过本领域技术人员选择的软件方式，或者通过专用硬件，或者通过适当配置的通用硬件来实现压缩编码器。
现在将参考图4来描述图3所示的压缩编码器40的操作的示例方法。
在如图4所示的第一步骤80中，选择新的图像用于压缩编码。
本领域技术人员将得知，将要压缩的图像中的像素的图像信息划分为宏块，并且在宏块基础上对宏块执行压缩编码。这样在步骤82中，选择要被压缩编码的下一个宏块。
在步骤84中，确定宏块是否属于用于该图像的刷新集合。在如图3所示的示例压缩编码器40中，通过刷新集合确定元件62执行该步骤。
步骤86中，为宏块选择帧间宏块压缩编码或者帧内宏块压缩编码。在如图 3所示的示例压缩编码器40中，由选择器元件60通过控制将当前宏块应用到第一宏块编码器52用于压缩编码还是应用到第二宏块编码器54而执行该步骤。
如果确定宏块在用于所述图像的刷新集合中，在步骤88-y中，由选择器元件60选择在步骤90中进行的帧内宏块编码处理，选择器元件62将宏块应用到第二宏块编码器54。因此对于在刷新集合中的宏块总是为其选择帧内宏块压缩编码。
如果在步骤88-n中确定宏块不在用于所述图像的刷新集合中，则在示例实施例中，选择器元件60在步骤90选择帧内宏块编码处理，或者在步骤92选择帧间宏块编码。选择器元件60通常将选择耗费最少比特数的编码处理。选择器元件60依照所选择的编码类型将宏块应用到第二宏块编码器54，或者应用到第一宏块编码器52。
本领域技术人员将理解，步骤90的帧内宏块编码和步骤92的帧间宏块编码都产生压缩的图像信息94，在作为编码处理的一部分的步骤96对压缩的图像信息94进行解码以形成所解码图像信息98。在步骤96中，对压缩的图像信息进行压缩解码而不使用去区块滤波器。所解码图像信息98被用于步骤90的帧内宏块编码处理或步骤92的帧间宏块编码处理。
本领域技术人员将得知，帧内宏块编码步骤90使用未利用去区块从当前图像内的先前的压缩编码的宏块解码的所解码图像信息。
帧间宏块编码步骤92使用未利用去区块从图像序列中在当前图像之前出现的单个参考图像的压缩编码的宏块解码的所解码图像信息。
一旦已对宏块进行了处理，在步骤100确定是否图像中的所有宏块都已被压缩编码。在步骤100-n，如果不是所有宏块都被处理了，则处理返回到步骤82，以开始当前图像中的下一个宏块的处理。
在步骤100-y，一旦图像中所有宏块都已被处理，在步骤102，将单个参考图像参数以及去区块参数与压缩的图像信息相关联。如图3所示的参数关联元件68执行该步骤。可以通过多种方式将参数与压缩的图像信息相关联。例如，参数可包括在图像报头，或者在压缩的比特流的片段报头中。
由此可见，在符合H.264/AVC标准的示例实施例中，为了达到高视觉质量和极低图像编码延迟，采用以下步骤：
首先，仅使用P图像类型(除了第一幅图像，即IDR)。使用至少两个宏块集合对每个图像进行编码。至少一个宏块集合是刷新集合，并对在刷新集合内的宏块进行图像内压缩编码。至少一个宏块集合是图像间压缩编码集合。用于每个图像的参考图像的数量被设为1。在一些实施例中，可通过在片段报头中将参数num_ref_idx_10_active_minusl设置为0而实现该方案。
在H.264/AVC压缩标准中，增加在帧间压缩编码期间从其取出图像信息的参考图像的数量的能力一般增加了压缩效率，并因此提高了对于给定比特速率的质量。然而，作为违背直觉的步骤(as a counter-intuitive step)，依照本发明的实施例，对于图像间压缩编码仅使用一个参考图像。
这是因为，一旦已对图像的特定区域进行图像内压缩编码，如果那些帧内压缩编码的区域被用作未来预测的参考，则对于编码器-解码器解码的图像缓冲器收敛是有益的。通过限制对预测的参考像素的选择，特别是在低速运动或静止场景中，使得帧内编码的区域被用作对当前帧紧邻的帧的预测的基础更为可能。
本领域技术人员将得知，在H.264/AVC压缩标准中提供有环内(in-loop)去区块滤波器以降低块边界的视觉影响。本发明的实施例要求在编码器中不使用环内去区块滤波器，并且通过例如将片段报头中的disable_deblocking_filter_idc 设置为1而发信号给压缩解码器，以防止任何相邻的图像间图像压缩编码的宏块影响图像内压缩编码的宏块的空间预测。这也有利于图像中任何自然出现的图像内编码的宏块，而并不仅仅是由帧内刷新方案强制的图像内压缩编码宏块。
去区块滤波器的使用创建了相邻宏块之间的相关性，当帧间编码的宏块相邻于帧内编码的宏块时并不希望具有这样的相关性。这是因为，一旦解码器开始解码流，解码器中的参考帧缓冲器(也就是H.264/AVC压缩方案中的解码图像缓冲器)的内容与编码器中的不相同，因此使用解码图像缓冲器中的图像信息作为参考的任何图像间图像预测很可能在视觉上较差。禁用去区块滤波器可以防止视觉削弱图像间预测(visually impaired Interpicture prediction)影响图像内预测编码宏块。
在示例实施例中，在连续的图像中，刷新集合包括图像内不同位置处的宏块，因此经过若干图像之后，所有宏块位置都已位于刷新集合中至少一个图像中，并且至少已被帧内编码一次。
在不同的实施例中可以通过不同的方式排列图像内的宏块的刷新集合。在不同实施例中，将要进行帧内编码的刷新集合中的宏块可被排列在图像的一列或更多列内，或者可以使用本领域技术人员选择的棋盘格模式或其它模式。在一些实施例中，在每个图像中，将刷新集合的特定数量的宏块排列到至少一个刷新片段中。对于作为一行或多行宏块的每个图像，该图像可采用刷新片段编码。
在示例实施例中，包括强制帧内编码宏块的刷新集合被定义为包括图像中至少一列宏块的刷新片段。在一些实施例中，可为图像序列中连续的图像选择连续的刷新片段。
然而，如下文描述的，在一些实施例中还可以使用帧内刷新的宏块的棋盘格模式来代替帧内行刷新模式。
设：
IntraMacroblocksPerPicture＝每个图像的帧内宏块的数量。这可以等于每行宏块的数量。
IntraRefreshFrameDistance＝图像中两个帧内宏块之间的距离(使用光栅扫描顺序)
NumMacroblocksPerPicture＝图像宽度*图像高度/256
IntraRefreshFrameDistance＝NumMacroblocksPerPicture/IntraMacroblocksPerPicture
IntraRefreshFrameDistance还对应于在已使用图像内预测模式对所有宏块位置至少编码一次之后的编码图像的数量。
创建随机模式，以指定在每个图像中的哪些宏块位置是在用于所述图像的刷新集合中，因此指定哪些宏块应当被强制进行帧内宏块编码。
首先尺寸IntraRefreshFrameDistance的宏块索引表被初始化为-1。
接着随机生成每个宏块作为帧内预测编码而编码的顺序：因此对于表的每个索引，给出的顺序为从0到(IntraRefreshFrameDistance-1)。
在指定了模式之后，在编码处理期间，需要检查模式表格IntraMacroblockIdx 中每个宏块位置，以确定是否需要对其以帧内模式进行编码。
在示例实施例中，如果
图像宽度＝96像素(6个宏块)，并且图像高度＝96像素(6个宏块)
每个图像的帧内编码宏块的数量被设置为9，且因此
IntraMacroblocksPerPicture＝9
因此，IntraRefreshFrameDistance＝6*6/9＝4。
如下，可以生成IntraMacroblockIdx索引：为每个索引随机生成IntraMacroblockIdx索引值，该索引值是从0到IntraRefreshFrameDistance-1的整数值。例如：
IntraMacroblockIdx 索引值
0 1
1 0
2 3
3 2
IntraMacroblockIdx索引表的解释如下：
对于i＝0-IntraMacroblocksPerPicture-1)：
帧0，宏块1+i*IntraRefreshFrameDistance将被帧内编码。
帧1，宏块0+i*IntraRefreshFrameDistance将被帧内编码。
帧2，宏块3+i*IntraRefreshFrameDistance将被帧内编码。
帧3，其中宏块2+i*IntraRefreshFrameDistance将被帧内编码。
此后，模式重复其本身。
图5示出刷新集合中的宏块的第一排列，其中用于该图像的在刷新片段中的宏块以灰色显示。
在相对照的图6-9中，示出在图像序列的连续图像中的图像的刷新集合中的宏块排列。同样，用于每个图像的刷新集合中的宏块以灰色显示。
图6以灰色表示用于第一索引值的帧1帧内编码宏块位置。图7以灰色表示用于第二索引值的帧2帧内编码宏块位置。图8以灰色表示用于第三索引值的帧3帧内编码宏块位置。图9以灰色表示用于第四索引值的帧3帧内编码宏块位置。
值得注意的是，使用如上所述的刷新片段和棋盘格帧内刷新方法还保证了经过给定数量的图像之后，图像内的所有宏块位置将已利用帧内模式宏块被编码至少一次。
在一些实施例中，可以创建多个IntraMacroblockIdx索引，并在同一图像内使用这些索引，从而避免创建任何可区分的模式，并且可在同一图像内同时使用这些模式。
周期性地(一般每秒钟)发送合适的序列和图像参数集合以允许对流的随机访问解码。
本领域技术人员将理解，图像序列中的图像可被压缩编码为域(field)或者帧。如果帧被编码为两个域，顶部域将参考先前帧的顶部域。该帧的底部域将参考先前帧的底部域。如果该帧被编码为帧，其将参考先前帧。
在一些实施例中，将使用缩放列表以要求用于帧间编码宏块和帧内编码宏块的不同的量化和缩放。因此，在一些实施例中，H.264/AVC标准的合适的等级和简档(profile)被使用，其允许将缩放列表在压缩的比特流中以信号形式传送，并且在解码器处使用。例如，目前的缩放列表可用于H.264/AVC的High、High10、 High422简档或High444简档。
在示例实施例中的H.264/AVC量化缩放列表被配置为使得帧内和帧间编码宏块之间的缩放参数的差异随着水平和垂直变换系数位置的增加而增加。
可在序列参数集合、图像参数集合或者两者中定义使用H.264中的缩放列表。缩放列表以这样的方式被使用：对于观众，图像内帧内编码宏块和帧间编码宏块之间的边界不是明显可见。
在一些实施例中，比特流中的缩放列表被配置为使得帧内和帧间编码宏块之间的缩放参数的差异随着水平和垂直变换系数位置的增加而增加。
图10是一表格，其示出用于4x4帧内编码块变换的缩放列表索引0、1、2 的帧内和帧间缩放列表设置之间的差异的范围，其用于示例实施例中的数值的上限和下限范围，以及数值的范围。
图11a-11d共同形成表格，其示出用于8x8帧间编码块的缩放列表索引7的帧内和帧间缩放列表设置之间的差异的范围，其用于示例实施例中的数值的上限和下限范围，以及数值的范围。
值得注意的是，H.264/AVC压缩标准中允许的缩放列表值范围从1到255。图10和11a-11d仅表示帧内和帧间缩放列表之间的差异，因此其得到了示例实施例中的根据H.264/AVC压缩标准的有效缩放列表数值。
尽管图10和11a-11d示出依据示例实施例的帧间和帧内编码宏块之间的缩放列表差异的设置，本领域技术人员将理解，这些差值存在允许的变化，这些变化仍会给视觉质量带来明显的益处。以下的图10 和11 a-11d中示出了这些差异范围，为每个系数位置(或idx)给出两幅图(上限，下限)。
因此本领域技术人员将理解，在本发明的实施例中，通过使用帧内刷新编码或者用于每个图像中的宏块位置的刷新集合的列或棋盘格模式，可以快速的最小化编码器和解码器参考帧缓冲器之间的发散。通过仅编码预测地编码(P) 图像，以及使用包括每个图像的刷新集合的宏块的多个集合，可以实现极低延迟编码。指定参数的组合保证在低编码延迟时能够维持较高视频视觉质量。在一些实施例中，可通过选择合适的量化缩放矩阵和参数，以及参考和去区块滤波器参数来最小化帧内刷新模式的视觉影响。使用的参数的组合对于本领域技术人员来说不是显而易见的，因此产生新颖的技术方案。

Claims (11)

1.一种对图像序列中的图像进行压缩编码的方法，所述方法对于所述图像中的图像信息的多个宏块的每一个宏块包括以下步骤：
确定所述宏块是否属于所述图像的刷新集合；
为所述宏块选择第一宏块编码处理或者第二宏块编码处理，其中为确定处于所述刷新集合中的所有宏块选择所述第二宏块编码处理；
根据所选择的第一宏块编码处理或第二宏块编码处理，使用未应用去区块已从先前压缩的图像信息解码的所解码图像信息对所述宏块的图像信息进行压缩编码，以形成压缩的图像信息，其中，在第一宏块编码处理期间使用来自所述图像序列中的先前参考图像的所解码图像信息，以及在第二宏块编码处理期间使用来自当前图像的所解码图像信息；以及
将以下参数与所述图像的压缩的图像信息相关联：指示在压缩的图像信息的压缩解码期间不应用去区块的去区块参数；以及指示在第二宏块编码处理中使用单个参考图像的参考图像参数，
其中：
所述图像由以下M个宏块MB组成：MB0, MB1, MB2, ..., MBM-1；以及
所述图像的刷新集合由以下R个MB组成：MB0+c, MBZ+c, MB2Z+c, ..., MB(R-1)Z+c，其中，R小于M，并且Z是所述图像中两个帧内宏块之间的距离，并且Z=M/R，其中c小于或等于Z-1且大于或等于0。
2.根据权利要求1所述的方法，其中在所述图像序列的连续图像中所述图像内的所述刷新集合的位置发生改变，从而经过多个图像之后，已使用所述第二宏块编码处理对所有宏块位置进行了压缩编码。
3.根据权利要求1或2所述的方法，其中所述刷新集合包括宏块的刷新片段。
4.根据权利要求1或2所述的方法，其中所述刷新集合包括图像内的每个第n个宏块。
5.根据权利要求1或2所述的方法，其中所述关联步骤还包括将图像和序列参数集合与所述压缩的图像信息相关联的步骤。
6.根据权利要求1或2所述的方法，其中在所述第一宏块编码处理的步骤中使用的缩放因子与在所述第二宏块编码处理的步骤中使用的所述缩放因子不同，使得所述缩放因子之间的差随着水平和垂直变换系数的增加而增加。
7.根据权利要求6所述的方法，其中选择缩放列表，以使得在所述第一宏块编码处理和所述第二宏块编码处理中使用的所述缩放因子之间的差处于由以下表格所定义的上限和下限限定的范围内：
。
8.根据权利要求6所述的方法，其进一步包括将用于所述缩放因子的缩放列表与所述压缩的图像信息相关联的步骤。
9.一种对图像序列中的图像进行压缩编码的设备，其包括：
编码器，被耦合以接收宏块图像信息，并且形成输出压缩的图像信息，所述编码器包括：
第一宏块编码器，布置为使用来自所述图像序列中的一个先前的参考图像的所解码图像信息对宏块的图像信息进行压缩编码以形成压缩的图像信息；
第二宏块编码器，布置为使用来自当前图像的所解码图像信息对宏块的图像信息进行压缩编码以形成压缩的图像信息；和
图像存储器，用于存储未应用去区块从所述输出压缩的图像信息压缩解码的图像信息，所述图像存储器被耦合以提供所解码图像信息到所述第一宏块编码器或所述第二宏块编码器；和
编码器控制器，用于控制所述编码器的操作，所述编码器控制器包括：
选择器元件，布置为将图像中的多个宏块的每一个耦合到所述第一宏块编码器或所述第二宏块编码器，以用于压缩编码，所述选择器元件可操作来为在所述图像的刷新集合中的所有宏块选择所述第二宏块编码器；以及
参数关联元件，可操作以将以下参数与所述图像的压缩的图像信息相关联：指示由所述第二宏块编码器使用单个参考图像的参考图像参数；和指示在对所述图像存储器中存储的所述压缩的图像信息进行压缩解码期间不应用去区块的去区块参数，
其中：
所述图像由以下M个宏块MB组成：MB0, MB1, MB2, ..., MBM-1；以及
所述图像的刷新集合由以下R个MB组成：MB0+c, MBZ+c, MB2Z+c, ..., MB(R-1)Z+c，其中，R小于M，并且Z是所述图像中两个帧内宏块之间的距离，并且Z=M/R，其中c小于或等于Z-1且大于或等于0。
10.根据权利要求9所述的设备，其进一步包括刷新集合确定元件，用于确定宏块是否处于用于所述图像的刷新集合中。
11.根据权利要求10所述的设备，其中所述刷新集合是宏块的片段，并且所述刷新集合确定元件可操作以确定宏块是否处于用于所述图像的刷新集合中。
CN201180074861.9A 2011-11-14 2011-11-14 用于对图像序列中的图像进行压缩编码的方法和设备 Expired - Fee Related CN104081771B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2011/070063 WO2013071948A1 (en) 2011-11-14 2011-11-14 Method of and apparatus for compression encoding a picture in a picture sequence

Publications (2)

Publication Number Publication Date
CN104081771A CN104081771A (zh) 2014-10-01
CN104081771B true CN104081771B (zh) 2018-06-05

Family

ID=45001731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180074861.9A Expired - Fee Related CN104081771B (zh) 2011-11-14 2011-11-14 用于对图像序列中的图像进行压缩编码的方法和设备

Country Status (4)

Country Link
US (1) US20140294091A1 (zh)
EP (1) EP2769543A1 (zh)
CN (1) CN104081771B (zh)
WO (1) WO2013071948A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130279882A1 (en) 2012-04-23 2013-10-24 Apple Inc. Coding of Video and Audio with Initialization Fragments
WO2017116293A1 (en) * 2015-12-31 2017-07-06 Telefonaktiebolaget Lm Ericsson (Publ) Communication device and method therein for transmitting data packets in a wireless communication network

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006467A (zh) * 2009-09-01 2011-04-06 索尼公司 视频发送装置、视频接收装置、视频发送方法及视频接收方法
CN102474367A (zh) * 2009-07-02 2012-05-23 高通股份有限公司 在频谱感测期间的发射器静默

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9661376B2 (en) * 2005-07-13 2017-05-23 Polycom, Inc. Video error concealment method
JP4724061B2 (ja) * 2006-07-06 2011-07-13 株式会社東芝 動画像符号化装置
US8238427B2 (en) * 2008-01-17 2012-08-07 Texas Instruments Incorporated Rate distortion optimized adaptive intra refresh for video coding
US8406296B2 (en) * 2008-04-07 2013-03-26 Qualcomm Incorporated Video refresh adaptation algorithms responsive to error feedback

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102474367A (zh) * 2009-07-02 2012-05-23 高通股份有限公司 在频谱感测期间的发射器静默
CN102006467A (zh) * 2009-09-01 2011-04-06 索尼公司 视频发送装置、视频接收装置、视频发送方法及视频接收方法

Also Published As

Publication number Publication date
CN104081771A (zh) 2014-10-01
EP2769543A1 (en) 2014-08-27
WO2013071948A1 (en) 2013-05-23
US20140294091A1 (en) 2014-10-02

Similar Documents

Publication Publication Date Title
KR101922459B1 (ko) 적응적 필터를 이용한 인트라 예측을 수행하는 영상 복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
CN104601998B (zh) 用于对图像编码的设备
JP4821723B2 (ja) 動画像符号化装置及びプログラム
KR20140120891A (ko) 효율적인 변환 유닛 인코딩을 위한 방법 및 장치
JP5219089B2 (ja) 画像データの生成方法
JP6629163B2 (ja) 画像の符号化および復号の方法、画像データの処理方法、およびその装置
WO2008136607A1 (en) Method and apparatus for encoding and decoding multi-view video data
US20050129125A1 (en) Method and apparatus for pitcure compression using variable block of arbitrary size
CN110933430B (zh) 二次编码优化方法
CN103873869A (zh) 一种码率控制方法
CN104081771B (zh) 用于对图像序列中的图像进行压缩编码的方法和设备
CN103796019B (zh) 一种均衡码率编码方法
KR20110099554A (ko) 영상의 복잡도를 이용한 ｈ．２６４／ａｖｃ 부호화기의 양자화 파라미터 결정 방법 및 이를 구현하는 ｈ．２６４／ａｖｃ 부호화기
US20200186812A1 (en) Video Coding Device and Video Coding Method
CN115550657A (zh) 一种抑制呼吸效应的率失真优化方法及装置
CN116437092A (zh) 一种避免产生超大i帧的码率控制方法及装置
KR100951008B1 (ko) 인터레이스 부호화에서의 실시간 비트율 제어 방법 및시스템
JP2012060423A (ja) 動画像符号化装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180605

Termination date: 20211114