CN113412618B - 用于编码和解码表示至少一个图像的数据流的方法和设备 - Google Patents
用于编码和解码表示至少一个图像的数据流的方法和设备 Download PDFInfo
- Publication number
- CN113412618B CN113412618B CN202080013072.3A CN202080013072A CN113412618B CN 113412618 B CN113412618 B CN 113412618B CN 202080013072 A CN202080013072 A CN 202080013072A CN 113412618 B CN113412618 B CN 113412618B
- Authority
- CN
- China
- Prior art keywords
- pixel
- block
- prediction
- value
- prediction mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 239000001828 Gelatine Substances 0.000 claims abstract description 4
- 239000001797 sucrose acetate isobutyrate Substances 0.000 claims abstract description 4
- 239000001809 ammonium phosphatide Substances 0.000 claims abstract description 3
- 235000010986 ammonium phosphatide Nutrition 0.000 claims abstract description 3
- 238000004590 computer program Methods 0.000 claims description 14
- GEHJYWRUCIMESM-UHFFFAOYSA-L sodium sulphite Substances [Na+].[Na+].[O-]S([O-])=O GEHJYWRUCIMESM-UHFFFAOYSA-L 0.000 claims description 4
- 235000010265 sodium sulphite Nutrition 0.000 claims description 4
- 239000004296 sodium metabisulphite Substances 0.000 claims description 3
- 235000010262 sodium metabisulphite Nutrition 0.000 claims description 3
- 238000013139 quantization Methods 0.000 description 36
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 19
- 230000006870 function Effects 0.000 description 16
- 230000007704 transition Effects 0.000 description 12
- 230000007246 mechanism Effects 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 239000004299 sodium benzoate Substances 0.000 description 3
- 235000010234 sodium benzoate Nutrition 0.000 description 3
- 239000005711 Benzoic acid Substances 0.000 description 2
- 239000001842 Brominated vegetable oil Substances 0.000 description 2
- 235000010233 benzoic acid Nutrition 0.000 description 2
- 239000004301 calcium benzoate Substances 0.000 description 2
- 235000010237 calcium benzoate Nutrition 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000004403 ethyl p-hydroxybenzoate Substances 0.000 description 2
- 235000010228 ethyl p-hydroxybenzoate Nutrition 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000256 polyoxyethylene sorbitan monolaurate Substances 0.000 description 2
- 235000010486 polyoxyethylene sorbitan monolaurate Nutrition 0.000 description 2
- 239000001818 polyoxyethylene sorbitan monostearate Substances 0.000 description 2
- 235000010989 polyoxyethylene sorbitan monostearate Nutrition 0.000 description 2
- 239000004300 potassium benzoate Substances 0.000 description 2
- 235000010235 potassium benzoate Nutrition 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000012471 Emblyna maxima Species 0.000 description 1
- 239000001825 Polyoxyethene (8) stearate Substances 0.000 description 1
- 239000004285 Potassium sulphite Substances 0.000 description 1
- 239000001852 Succistearin Substances 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000004294 calcium hydrogen sulphite Substances 0.000 description 1
- 235000010260 calcium hydrogen sulphite Nutrition 0.000 description 1
- 239000004295 calcium sulphite Substances 0.000 description 1
- 235000010261 calcium sulphite Nutrition 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000001806 glycerol esters of wood rosin Substances 0.000 description 1
- 235000010985 glycerol esters of wood rosin Nutrition 0.000 description 1
- 238000002620 method output Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004306 orthophenyl phenol Substances 0.000 description 1
- 235000010292 orthophenyl phenol Nutrition 0.000 description 1
- 239000001814 pectin Substances 0.000 description 1
- 235000010987 pectin Nutrition 0.000 description 1
- 239000001194 polyoxyethylene (40) stearate Substances 0.000 description 1
- 235000011185 polyoxyethylene (40) stearate Nutrition 0.000 description 1
- 239000000244 polyoxyethylene sorbitan monooleate Substances 0.000 description 1
- 235000010482 polyoxyethylene sorbitan monooleate Nutrition 0.000 description 1
- 239000000249 polyoxyethylene sorbitan monopalmitate Substances 0.000 description 1
- 235000010483 polyoxyethylene sorbitan monopalmitate Nutrition 0.000 description 1
- 239000001816 polyoxyethylene sorbitan tristearate Substances 0.000 description 1
- 235000010988 polyoxyethylene sorbitan tristearate Nutrition 0.000 description 1
- 239000004297 potassium metabisulphite Substances 0.000 description 1
- 235000010263 potassium metabisulphite Nutrition 0.000 description 1
- 239000004405 propyl p-hydroxybenzoate Substances 0.000 description 1
- 239000004402 sodium ethyl p-hydroxybenzoate Substances 0.000 description 1
- 235000010226 sodium ethyl p-hydroxybenzoate Nutrition 0.000 description 1
- 239000004291 sulphur dioxide Substances 0.000 description 1
- 235000010269 sulphur dioxide Nutrition 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000001226 triphosphate Substances 0.000 description 1
- 235000011178 triphosphate Nutrition 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及一种用于编码和解码的方法，并且对应地，涉及一种用于编码和解码表示被分割成块的至少一个图像的编码数据流的设备。对于图像的至少一个当前块，从先前解码的像素确定(E441)块中的像素值组，并且对于该块的每个像素，解码(E442)与所述像素相关联的预测残差。使用第一预测模式确定(E4411)与像素相关联的预测值，所述像素是在该第一预测模式中从至少一个其他先前解码的像素预测的，所述其他先前解码的像素属于所述当前块，信息项(E4422)指示是否使用第二预测模式来预测像素，所述像素是在该第二预测模式中使用从块中的所述像素值组产生的预测而预测的。当使用第二预测模式预测像素时，用该组的所选择的值来替代(E4423)与该像素相关联的预测值。使用与像素相关联的预测值并使用预测残差，来重构(E444)像素。
Description
技术领域
本发明的领域是编码和解码图像或图像序列的领域，并且具体是视频流的领域。
更具体地，本发明涉及使用图像的块表示来压缩图像或图像序列。
本发明尤其可以应用于在当前或未来编码器(JPEG、MPEG、H.264、HEVC等及其修正)中实现的图像或视频编码、以及对应的解码。
背景技术
数字图像和图像序列在内存方面占用了大量空间，这就要求在传输这些图像时对其进行压缩，以避免在用于该传输的网络上出现拥塞问题。
用于压缩视频数据的多种技术已经为人所知。其中，HEVC压缩标准(“HighEfficiency Video Coding,Coding Tools and Specification”,Matthias Wien,Signalsand Communication Technology,2015)提出实现当前图像的像素相对于属于同一图像(帧内预测)或属于先前或后续图像(帧间预测)的其他像素的预测。
更具体地，帧内预测使用图像内的空间冗余。为此，图像被分割成像素块。然后，根据图像中的块的扫描顺序，使用对应于当前图像中先前编码/解码的块的已经重构的信息来预测像素块。
此外，以标准方式，使用被称为预测器块的当前块的预测和对应于当前块与预测器块之间的差的预测残差或“残差块”，来执行当前块的编码。然后例如使用DCT(离散余弦变换)类型的变换来对所得的残差块进行变换。变换后的残差块的系数然后被量化，通过熵编码进行编码，并被传输到解码器，解码器可以通过将该残差块添加到预测器块来重构当前块。
解码是一个图像接一个图像地完成的，并且对于每个图像，是一个块接一个块地完成的。对于每个块，读取流的对应元素。执行残差块的系数的反量化和逆变换。然后，计算块预测以获得预测器块，并且通过将预测(即预测器块)添加到经解码的残差块来重构当前块。
在US9253508中，用于在帧内模式下编码块的DPCM(差分脉冲编码调制)编码技术被集成到HEVC编码器中。这种技术包括通过帧内块中先前已经重构的另一像素集来预测同一块的像素集。在US9253508中，帧内块中待编码的像素集对应于该块的一行、或一列、或一行和一列，并且用于预测像素集的帧内预测是在HEVC标准中定义的方向性帧内预测中的一个。
然而，这种技术并不是最优的。实际上，通过先前处理的相邻像素对像素的预测很好地适用于对自然类型数据(照片、视频)进行编码。然而，当内容的类型是人造的(例如，对应于截屏或合成图像的内容)时，图像在生成高能过渡(transitions)中具有强不连续性。
更具体地，例如，合成图像可能包含具有非常少量像素值的区域，下文也称为级别。例如，一些区域可以仅有2个级别：一个用于背景，并且一个用于前景，诸如白色背景上的黑色文本。
在图像区域中存在这种过渡的情况下，待编码的像素的值与相邻像素的值相差甚远。如上所述的使用先前处理的相邻像素对这种像素的预测难以模拟这种过渡。
因此，需要一种新的编码和解码方法来改进图像或视频数据的压缩。
发明内容
本发明改进了现有技术。为此，本发明涉及一种用于解码编码数据流的方法，该编码数据流表示被分割成块的至少一个图像。这种解码方法包括，对于图像中被称为当前块的至少一个块：
-从先前解码的像素确定块中恒定的像素值组，
-对于该块的每个像素：
·解码与所述像素相关联的预测残差，
·根据第一预测模式确定与该像素相关联的预测值，根据第一预测模式，从至少一个其他先前解码的像素预测该像素，所述其他先前解码的像素属于所述当前块或图像的先前解码的块，
·从数据流中解码信息项，该信息项指示该像素是否是根据第二预测模式所预测的，根据该第二预测模式，使用从该块中恒定的所述像素值组所得的预测来预测该像素，
·当信息项指示根据第二预测模式来预测该像素时：
ο选择所述组中的值，
ο用所选择的值来替代与该像素相关联的所述预测值，
·使用与该像素相关联的预测值以及预测残差来重构所述像素。
相关地，本发明还涉及一种用于编码数据流的方法，该数据流表示被分割成块的至少一个图像。这种编码方法包括，对于图像中被称为当前块的至少一个块：
-从先前解码的像素确定块中恒定的像素值组，
-对于该块的每个像素：
·根据第一预测模式确定与该像素相关联的预测值，根据第一预测模式，通过从至少一个其他先前解码的像素所确定的与像素相关联的预测值来预测该像素，所述其他先前解码的像素属于所述当前块或图像的先前解码的块，
·从第一预测模式和第二预测模式中确定像素的预测模式，根据该第二预测模式，使用从在块中恒定的所述像素值组所得的预测来预测像素，
·在数据流中编码信息项，该信息项指示像素是否是根据第二预测模式所预测的，
·当信息项指示根据第二预测模式来预测该像素时：
ο选择所述组中的值，
ο用所选择的值来替代与该像素相关联的所述预测值，
·使用与像素相关联的预测值和所述像素的值来计算与所述像素相关联的预测残差，
·在数据流中对与所述像素相关联的预测残差进行编码，
·使用与像素相关联的预测值和经解码的预测残差来重构所述像素。
因此，本发明使用通过待编码的像素的相邻像素的局部预测来改进编码模式的压缩性能。有利地，确定表示待编码块的相邻像素的值的像素值组。例如，该组包括预定数目的像素值，这些像素值在待编码块的相邻像素中最频繁。通常，这组值可以在以层表示图像时包括图像层的强度值(例如对于合成图像)，或者包括具有定界前景和背景的区域(诸如白色背景上的黑色文本)。
根据本发明的特定实施例，该组值包括表示该块的邻域中的两个最频繁的值的两个值。
当检测到位于过渡区域中的像素时，其预测值被改变为这样确定的组的值中的一个。
这种组的值被认为在当前块中是恒定的，因为其对于当前块的所有像素仅被确定一次。
根据本发明的特定实施例，根据与所述像素相关联并且根据第一预测模式相对于该组的恒定像素值所确定的预测值之间的距离，来选择该组的值。
本发明的这个特定实施例允许针对位于过渡区域中的像素方便地选择组的预测值，并且不需要传输附加的信息来指示该选择。
根据本发明的另一特定实施例，该组包括第一值和第二值，当与所述像素相关联的预测值与第一值之间的距离小于与所述像素相关联的预测值与第二值之间的距离时，所述组的选择的值是第一值，否则所述组的选择的值是第二值。
根据本发明的另一特定实施例，仅当像素的预测残差不同于0时，才从数据流中解码或在数据流中编码指示像素是否是根据第二预测模式预测的信息项。
该特定实施例避免在预测残差不同于0时对指示根据第二预测模式的预测的信息项进行编码。因此，根据该特定实施例，在解码器处，默认使用第一预测模式来预测当前像素。
本发明的这个特定实施例避免了编码器编码不必要的信息。实际上，在编码器处，当根据第一预测模式的预测导致零预测残差(即最优预测)时，指示第二预测模式未被用于当前像素的信息项是隐式的。
本发明的这种特定实施例可以在编码器处实现，通过根据第一预测模式产生的预测计算预测残差的在先步骤，或者通过确定待编码的像素的原始值是否远离由第一预测模式产生的预测值的步骤。
根据本发明的另一特定实施例，通过计算当前块的先前已经重构的相邻像素的值的直方图，并选择分别表示当前块的相邻像素中最频繁的两个像素值的至少两个像素值，来执行从先前解码的像素确定块中恒定的像素值组。
根据本发明的另一特定实施例，根据来自先前解码的像素的在块中恒定的所述像素值组的至少一个值确定阈值。在确定像素的预测模式时，选择第二预测模式：
-当所述像素的原始值大于所述阈值并且阈值大于根据第一预测模式确定的、与像素相关联的预测值时，或者
-当所述像素的原始值小于所述阈值并且阈值小于根据第一预测模式确定的、与像素相关联的预测值时。
本发明还涉及一种用于解码编码数据流的设备，该编码数据流表示被分割成块的至少一个图像。这种解码设备包括处理器，该处理器被配置为对于图像的被称为当前块的至少一个块：
-从先前解码的像素确定块中恒定的像素值组，
-对于该块的每个像素：
·解码与所述像素相关联的预测残差，
·确定与来自至少一个其他先前解码的像素中的像素相关联的预测值，所述其他先前解码的像素属于所述当前块或图像的先前解码的块，
·从数据流中确定信息项，该信息项指示该像素是否是使用从块中恒定的所述像素值组产生的预测来预测的，
·当信息项指示使用从块中恒定的像素值组产生的预测来预测像素时：
ο选择所述组中的值，
ο用所选择的值来替代与该像素相关联的所述预测值，
·使用与该像素相关联的预测值以及预测残差来重构所述像素。
根据本发明的特定实施例，这种解码设备被包括在终端中。
本发明还涉及一种用于对表示被分割成块的至少一个图像的数据流进行编码的设备。这种编码设备包括处理器，该处理器被配置为对于图像的被称为当前块的至少一个块：
-从先前解码的像素确定块中恒定的像素值组，
-对于该块的每个像素：
·根据第一预测模式确定与该像素相关联的预测值，根据第一预测模式，通过从至少一个其他先前解码的像素所确定的与像素相关联的预测值来预测该像素，所述其他先前解码的像素属于所述当前块或图像的先前解码的块，
·根据第一预测模式和第二预测模式确定像素的预测模式，根据该第一预测模式和第二预测模式，使用从在块中恒定的所述像素值组所得的预测来预测像素，
·在数据流中编码信息项，该信息项指示像素是否是根据第二预测模式所预测的，
·当信息项指示根据第二预测模式来预测该像素时：
ο选择所述组中的值，
ο用所选择的值来替代与该像素相关联的所述预测值，
·使用与像素相关联的预测值和所述像素的值来计算与所述像素相关联的预测残差，
·在数据流中对与所述像素相关联的预测残差进行编码，
·使用与像素相关联的预测值和经解码的预测残差来重构所述像素。
根据本发明的特定实施例，这种编码设备被包括在终端或服务器中。
本发明还涉及表示被分割成块的至少一个图像的数据流。对于图像的被称为当前块的至少一个块，并且对于当前块的每个像素，这种数据流方法包括：
-表示与所述像素相关联的预测残差的信息项，
-指示是否使用由块中恒定的像素值组产生的预测来预测像素的信息项，块中恒定的像素值组是从先前解码的像素确定的。
根据本发明的解码方法(或者编码方法)可以以各种方式实现，特别是以有线形式或软件形式。根据本发明的特定实施例，解码方法(或者编码方法)由计算机程序实现。本发明还涉及一种包括指令的计算机程序，当所述程序由处理器运行时，所述指令用于实现根据前述特定实施例中的任何一个的解码方法或编码方法。这种程序可以使用任何编程语言。其可以从通信网络下载和/或记录在计算机可读介质上。
该程序可以使用任何编程语言，并且可以是源代码、目标代码、或源代码和目标代码之间的中间代码的形式，诸如部分编译的形式，或者任何其他期望的形式。
本发明还涉及包括如上所述的计算机程序的指令的计算机可读存储介质或数据介质。上述记录介质可以是能够存储程序的任何实体或设备。例如，该介质可以包括存储部件，诸如存储器。另一方面，记录介质可以对应于可传输介质(诸如电信号或光信号)，其可以通过电缆或光缆、无线电或其他手段来承载。根据本发明的程序尤其可以在互联网类型的网络上下载。
替代地，记录介质可以对应于其中嵌入程序的集成电路，该电路适于执行所讨论的方法或在执行所讨论的方法时使用。
附图说明
通过阅读作为简单的说明性非限制性示例提供的特定实施例的以下描述以及附图，本发明的其他特性和优点将变得更加清楚，其中：
[图1]图1示出了根据本发明的特定实施例的编码方法的步骤。
[图2A]图2A图示了根据本发明的特定实施例的编码数据流的一部分的示例。
[图2B]图2B图示了根据本发明的另一特定实施例的编码数据流的一部分的示例。
[图3A]图3A图示了根据本发明的特定实施例的当前块的用于确定帧内预测模式的相邻块的位置示例。
[图3B]图3B图示了根据本发明的特定实施例的用于预测当前块的像素的参考像素的位置示例。
[图4]图4示出了根据本发明的特定实施例的解码方法的步骤。
[图5]图5图示了根据本发明的特定实施例的包括诸如各自具有两个内容层的屏幕的内容的块、及其在图像中相应的邻域的示例。
[图6]图6图示了根据本发明的特定实施例的16×16块的示例以及示出该块的像素的过渡状态的过渡图，该16×16块包括诸如屏幕的内容，该16×16块具有两个内容层。
[图7]图7示出了适于实现根据本发明的特定实施例中的任何一个的编码方法的编码设备的简化结构。
[图8]图8示出了适于实现根据本发明的特定实施例中的任何一个的解码方法的解码设备的简化结构。
具体实施方式
5.1一般原理
本发明使用对块中的位于两个非常不同的像素值级别之间的过渡上的像素的局部预测来改进图像的块的编码模式。
待编码块的使用局部预测的编码模式允许使用属于待编码块的参考像素来预测待编码块的其他像素。这种预测模式通过使用块中的在空间上非常接近待编码像素的像素来减少预测残差。
然而，当原始像素远离其预测时，这种编码模式引入了相对较大的编码残差。对于诸如截屏或合成图像的内容通常是这种情况。在这种类型的内容中，待编码块可能具有强不连续性。在这种情况下，属于背景的参考像素可以用于预测相同块中属于前景的像素，反之亦然。在这种情况下，参考像素中可用的信息项不适合于精确预测。位于背景区域和前景区域之间的边界处的像素在下文中被称为过渡像素。
有利地，本发明提出为待编码块导出与图像的每一层相关的信息项，例如，在考虑仅两层的情况下，导出与前景相关的信息项和与背景相关的信息项。当然可以考虑附加的内容层，增加要导出的信息项的数目。例如，这种信息的导出包括确定块中恒定的像素值组。
根据本发明的特定实施例，与图像的每一层相关的该信息是从待编码块的局部邻域中导出的。
有利地，该信息与用于检测待编码块中的过渡像素的机制结合使用。这降低了这种像素的残差能量。
图5图示了包括内容(诸如各自具有两个内容层的屏幕)的块(Bi-bl)，及其在图像中相应的邻域(Neigh)。如图5所示，待编码的当前块的局部邻域包含与两层的强度级别相关的有用信息。
根据本发明，当检测到待编码块中的过渡像素时，使用与像素可能属于的层相对应的层的强度级别来校正这些像素的预测值。
根据本发明的特定实施例，为了具有对块的每个像素的最优预测以及有限的速率成本，这种机制限于满足特定条件的像素。
根据待预测像素的局部邻域，可以定义待预测像素的三种状态：
-s1：像素属于均匀区域，其中根据相邻像素的局部预测非常有效，例如，其提供零量化预测残差。在这种情况下，像素不是过渡像素。根据实施例变型，该状态可以在解码器处被隐式地检测到，
-s2：像素属于其中根据相邻像素的局部预测适度有效的区域，例如，其提供低预测残差。通过上述校正机制对像素的预测被允许用于该像素，但是如果与根据层的强度级别确定的阈值相比，残差预测误差不够大，则不应用校正机制。在这种情况下，指示符被特别编码以指示没有使用校正机制，
-s3：像素属于其中根据相邻像素的局部预测无效的区域，例如，其提供了大的预测残差。通过上述校正机制对像素的预测被允许用于该像素，并且指示符被特别编码以指示该使用。
图6在左边示出了16x16块的示例，其中在深色背景上有浅色文本，并且在右边示出了该块的过渡图，该过渡图示出了如何将上述状态分配给该块的像素。
5.2实施例
图1示出了根据本发明的特定实施例的编码方法的步骤。例如，根据本发明的特定实施例，图像序列I1、I2、……、INb以编码数据流STR的形式被编码。例如，这种编码方法由如后面关于图7所述的编码设备实现。
图像序列I1、I2、……、INb(Nb为待编码的序列的图像数目)作为编码方法的输入提供。该编码方法输出表示作为输入提供的图像序列的编码数据流STR。
以已知的方式，对图像序列I1、I2、……、INb的编码是根据编码器先前建立和已知的编码顺序来逐个图像地完成的。例如，可以按照时间顺序I1、I2、……、INb或者另一顺序(例如I1、I3、I2、……、INb)对图像进行编码。
在步骤E0中，图像序列I1、I2、……、INb中的待编码图像Ij被分割成块，例如大小为32×32或64×64像素或更大的块。这种块可以被再分成正方形或矩形子块，例如16×16、8×8、4×4、16×8、8×16…
在步骤E1中，根据图像Ij的预定扫描顺序选择图像Ij的待编码的第一块或子块Xb。例如，其可以是图像的字典式扫描顺序中的第一块。
在步骤E2中，编码器选择用于编码当前块Xb的编码模式。
根据这里描述的特定实施例，编码器从第一编码模式M1和第二编码模式M2中选择用于编码当前块Xb的编码模式。可以使用附加的编码模式(此处未描述)。
根据这里描述的特定实施例，第一编码模式M1对应于例如根据HEVC标准定义的当前块的传统帧内预测编码，并且第二编码模式M2对应于稍后描述的环内残差(ILR)或DPCM预测编码。
本发明的原理可以扩展到第一编码模式M1的其他类型的编码模式。例如，第一编码模式可以对应于使用预测残差的变换的任何类型的编码模式(图像间预测编码、具有模板匹配编码的空间预测等)。
在步骤E2中，编码器可以执行速率/失真优化，以确定用于编码当前块的最优编码模式。在该速率/失真优化期间，可以测试不同于第一和第二编码模式的附加编码模式，例如帧间模式编码模式。在该速率/失真优化期间，编码器根据不同的可用编码模式来模拟当前块Xb的编码，以便确定与每个编码模式相关联的速率和失真，并选择提供最优速率/失真折衷的编码模式，例如根据D+λ×R函数，其中R是根据评估的编码模式编码当前块所需的速率，D是解码块和原始当前块之间测量的失真，并且λ是拉格朗日乘数，其例如由用户键入或在编码器处定义。
在步骤E20中，指示为当前块选择的编码模式的信息项被编码在数据流STR中。
如果当前块Xb是根据第一编码模式M1编码的，则该方法进行到步骤E21，用于根据M1编码该块。如果当前块Xb是根据第二编码模式M2编码的，则该方法进行到步骤E22，用于根据M2编码该块。
根据本发明的特定实施例，下面描述根据第一编码模式M1对块进行编码的步骤E21。根据这里描述的特定模式，第一编码模式对应于传统的帧内预测，诸如在HEVC标准中定义的帧内预测。
在步骤E210中，确定量化步长δ1。例如，量化步长δ1可以由用户设置，或者使用在压缩和质量之间设定折衷的量化参数来计算并由用户键入或由编码器定义。因此，这种量化参数可以是参数λ，其被用于率失真成本函数D+λ×R中，其中D表示由编码引入的失真，并且R表示用于编码的速率。该函数被用于进行编码选择。通常，寻求使该函数最小化的编码图像的方式。
作为变型，量化参数可以是QP，其对应于通常在AVC或HEVC标准中使用的量化参数。因此，在HEVC标准中，量化步长δ1由公式δ1＝levelScale[QP％6]<<(QP/6)确定，其中对于k＝0..5，levelScale[k]＝{40,45,51,57,64,72}。
在步骤E211中，使用传统的帧内预测模式来确定当前块的预测。根据这种传统的帧内预测，仅从源自位于当前块上方和当前块左侧的相邻块的解码像素(参考像素)来计算每个预测像素。从参考像素预测像素的方式取决于传输到解码器、并且由编码器从编码器和解码器已知的预定模式集合中选择的预测模式。
因此，在HEVC中存在35种可能的预测模式：在33个不同角度方向内插参考像素的33种模式，以及2种其他模式：DC模式(其中预测块的每个像素根据参考像素的平均值产生)和PLANAR模式(其执行平面且无方向性内插)。这种“传统的帧内预测”是众所周知的，并且也用于ITU-T H.264标准(其中只有9种不同的模式)以及可在互联网地址(https:// jvet.hhi.fraunhofer.de/)获得的实验性JEM软件，其中存在67种不同的预测模式。在所有情况下，传统的帧内预测都考虑了上述两个方面(从相邻块的像素预测待编码块的像素，并将最优预测模式传输到解码器)。
在步骤E211中，编码器因此从预测模式的预定列表中选择可用预测模式中的一个。一种选择方式包括，例如，评估所有预测模式，并保持使成本函数(诸如传统的率失真成本)最小化的预测模式。
在步骤E212中，根据当前块的相邻块来编码为当前块选择的预测模式。图3A图示了用于编码当前块Xb的预测模式的、当前块Xb的相邻块Ab和Bb的位置示例。
在步骤E212中，使用与相邻块相关联的帧内预测模式来对为当前块选择的帧内预测模式进行编码。
例如，可以使用HEVC标准中描述的用于编码当前块的预测模式的方案。在图3A的示例中，这种方案包括标识与位于当前块上方的块Ab相关联的帧内预测模式mA、以及与位于当前块的正左侧的块Bb相关联的帧内预测模式mB。根据mA和mB的值，创建名为MPM(最可能模式)的列表(包含3种帧内预测模式)以及名为非MPM的列表(包含32种其他预测模式)。
根据HEVC标准，为了编码当前块的帧内预测模式，传输语法元素：
-二进制指示符，指示当前块的待编码的预测模式是否在MPM列表中，
-如果当前块的预测模式属于MPM列表，则对应于当前块的预测模式的MPM列表中的索引被编码，
-如果当前块的预测模式不属于MPM列表，则对应于当前块的预测模式的非MPM列表中的索引被编码。
在步骤E213中，构建当前块的预测残差R。
在步骤E213中，以标准方式，根据在步骤E211中选择的预测模式来构建预测块P。然后，通过计算预测块P和原始当前块之间的每个像素的差来获得预测残差R。
在步骤E214中，预测残差R被变换成RT。
在步骤E214中，对残差块R应用频率变换，以便产生包括变换系数的块RT。例如，该变换可以是DCT类型的变换。可能从预定变换集ET中选择要使用的变换，并通知解码器所使用的变换。
在步骤E215中，使用例如量化步长标量量化δ1来量化变换后的残差块RT。这产生经量化的变换后的预测残差块RTQ。
在步骤E216中，经量化的块RTQ的系数由熵编码器编码。例如，可以使用HEVC标准中规定的熵编码。
以已知的方式，通过对经量化的块RTQ的系数进行反量化，然后对经反量化的系数应用逆变换来解码当前块，以获得解码的预测残差。然后，预测被添加到解码的预测残差，以便重构当前块并获得其解码版本。当前块的解码版本随后可以用于空间预测图像的其他相邻块，或者通过图像间预测来预测其他图像的块。
根据本发明的特定实施例，下面描述根据第二编码模式M2对块进行编码的步骤E22。根据这里描述的特定实施例，第二编码模式对应于ILR预测编码。
在先前的步骤E220中，确定量化步长δ2。例如，量化步长δ2取决于与量化步长δ1相同的量化参数，如果根据第一编码模式对当前块进行编码，则该量化步长δ1将在步骤E210中确定。
根据本发明，在该编码模式中，可以根据第一预测模式或第二预测模式来预测当前块的像素。
根据第一预测模式，通过当前块的相邻块的先前重构的像素和/或当前块自身的先前处理的像素，来预测当前块的像素。优选地，为了预测像素，选择与待预测像素尽可能接近的像素。这就是为什么其被称为局部预测器。
根据第二预测模式，当前块的像素通过由例如从当前块的邻域中确定的一组值选择的层的级别值来预测。
在步骤E221中，从先前解码的像素确定块中恒定的像素值组。确定当前块的几个重构级别，例如两个重构级别，称为f和b。这些级别是通过分析当前块的参考像素(即来自与当前块相邻的先前处理的块的像素)所取的值来构建的。存在几种技术用于确定级别f和b。因此，可能计算参考像素的值的直方图，并将b指定为最频繁值，并且将f指定为第二频繁值。另一方案包括标识直方图的局部最大值，即被较小值包围的最大值。然后，级别f被指定为最大的局部最大值，并且级别b被指定为第二大的局部最大值。
此外，根据本发明的特定实施例，确定阈值thr，该阈值thr通常在f和b之间的一半，并且被定义为在替代实施例中，还可以选择/> 其中dyn是信号的最大值。
上述用于确定块中恒定的像素值组的实施例变型允许图像层的隐式检测，这也可以在解码器处实现，而不需要传输附加信息。
例如，为了限制图像层检测的复杂性，使用当前块的直接邻域：例如，仅使用左侧的列的像素和当前块上方的行的像素。
根据其他变型，例如，通过考虑直方图的以下局部最大值，可以确定两个以上的值。
这样确定的值f和b对应于用于第二预测模式的值组的值。
对当前块的每个像素执行以下步骤。
在步骤E2201中，确定所考虑的像素的局部预测器PL。该局部预测器PL对应于根据第一预测模式获得的预测器。
局部预测器PL可以如下确定。如果我们称X为当前块的待预测的当前像素，则A是紧邻X的左侧的像素，B是紧邻X的左侧和上方的像素，C是紧邻X的上方的像素，如示出当前块Xb的图3B所示。局部预测器PL定义如下：
PL(X)＝min(A,B)如果C≥max(A,B)
max(A,B)如果C≤min(A,B)
A+B-C其他情况下
其中min(A,B)对应于返回A值和B值之间的最小值的函数，并且max(A,B)对应于返回A值和B值之间的最大值的函数。
可以使用其他局部预测函数。根据另一变型，几个局部预测函数可以是可用的，并且为当前块的所有像素选择同一局部预测函数。例如，分析先前编码的相邻块的像素的纹理的方位。例如，使用索贝尔型算子，分析相邻块中位于当前块的上方或左侧的先前编码的像素。如果确定：
-如果无方位出现，则预测函数是上面定义的函数，
-如果方位是水平的，则预测函数是PL(X)＝A，
-如果方位是竖直的，则预测函数为PL(X)＝B，
-如果方位是对角的，则预测函数为PL(X)＝C。
因此，与当前块的当前像素X相关联的预测值PL(X)是根据当前块中的像素的位置，使用块外部的已经重构的像素(并且因此其解码值可用)、或者在当前块中先前重构的像素、或者两者来获得的。在所有情况下，预测器PL使用先前重构的像素。在图3B中，可以看出，当前块中位于当前块的第一行和/或第一列上的像素将使用块外已经重构的像素(图3B中的灰色像素)以及当前块的可能已经重构的像素作为参考像素(以构建预测值PL(X))。对于当前块的其他像素，用于构建预测值PL(X)的参考像素位于当前块内部。
在步骤E2202中，从第一预测模式和第二预测模式中确定用于预测当前像素的预测模式。
根据本发明的特定实施例，当PL(X)<thr<X或当PL(X)>thr>X时，选择第二预测模式。换句话说，在以下情况选择第二预测模式：
-当像素的原始值X大于阈值thr并且阈值thr大于根据第一预测模式确定的与像素相关联的预测值PL(X)时，或者
-当像素的原始值X小于阈值thr并且阈值thr小于根据第一预测模式确定的与像素相关联的预测值PL(X)时。
如果满足以上条件中的一个，则待预测像素的状态为s＝3，并且编码器进行到下一步骤E2203。
在步骤E2203中，指示根据第二预测模式预测待预测像素的指示符t被设置为例如1，并且通过例如熵编码被编码在数据流STR中，或者在流中原样传输。
在步骤E2204中，选择在步骤E221中确定的值组的值来预测当前像素。
根据本发明的特定实施例，根据与所述像素相关联的根据第一预测模式确定的预测值相对于在步骤E221中确定的组像素值之间的距离，来选择组的值。例如，当根据第一预测模式的与所述像素相关联的预测值PL(X)与该组的值b之间的距离小于根据第一预测模式的与所述像素相关联的预测值PL(X)与值f之间的距离时，选择的值为b，否则选择的值为f。
例如，L1或L2标准可以用作距离测量。
因此，如果|PL(X)-b|<|PL(X)-f|，那么PL(X)＝b，否则PL(X)＝f。
然后该方法进行到步骤E2205。
如果在步骤E2202中，确定不根据第二预测模式来预测当前像素，则当前像素是根据第一预测模式预测的。然后，不修改根据第一预测模式获得的与当前像素相关联的预测值PL(X)。于是当前像素处于状态s＝1或s＝2。
在步骤E2205中，对于当前像素，预测残差R1(X)被计算为当前像素的原始值X和与当前像素相关联的预测值PL(X)之间的差，即R1(X)＝X-PL(X)。这里，预测值PL(X)可能已经通过第一预测模式或第二预测模式获得。
然后在Q(X)中由量化步长标量量化器δ2通过Q(X)＝ScalarQuant(R1(X))＝ScalarQuant(δ2,X-PL(X))来量化预测残差R1(X)，标量量化器是例如最近邻域标量量化器，诸如： 其中Δ是量化步长，并且x是待量化的值。
Q(X)是与X相关联的量化残差。其是在空间域中计算的，即直接从像素X的预测值PL(X)和X的原始值之间的差计算的。像素X的这种量化残差Q(X)被存储在量化预测残差块R1Q中，该块R1Q将在后面被编码。
在步骤E2206中，通过将量化残差Q(X)的反量化值与预测值PL(X)相加，来计算X的经解码的预测值PL(X)。因此，通过P1(X)＝PL(X)+ScalarDequant(δ2,Q(X))获得X的经解码的预测值P1(X)。例如，最近标量量化反函数由下式给出：ScalarDequant(Δ,x)＝Δ×x。
经解码的预测值P1(X)因此使得可能预测当前块中剩余待处理的可能像素。
此外，可以定义包括当前块的像素的经解码/重构的值P1(X)的块P1。这种块P1是当前块的ILR预测器(与传统的帧内预测器相反)。
根据本发明的特定实施例，在步骤E2207中，当量化预测残差Q1(X)不为零时，换句话说，当量化预测残差Q1(X)的幅度a不为零时，将指示符t设置为例如0，并被编码在数据流STR中。在这种情况下，当前像素被认为处于状态s＝2。
根据本发明的这个特定实施例，当量化预测残差Q1(X)为零，即量化预测残差Q1(X)的幅度a为零时，指示符t也被设置为0，因为当前像素不是由第二预测模式预测的，但是指示符t没有被编码在数据流STR中。这种预测模式将在解码器处从量化预测残差Q1(X)的幅度的解码值中隐式地导出。在这种情况下，当前像素被认为处于状态s＝1。在这种情况下，该方法直接从步骤E2206进行到步骤E223。
当然，在实践中，当其被显式编码(s＝2或s＝3)时，在量化预测残差Q1(X)被编码之后，指示符t被编码在数据流中。
根据本发明的另一特定实施例，指示符t被设置为0，并且在步骤E2207中针对每个像素被系统地编码在数据流STR中，而不管预测残差Q1(X)的幅度的值如何。因此，在解码器处，由解码器通过读取指示符t显式地确定当前像素是否根据第二预测模式被预测，而不管量化预测残差的值如何。在这种情况下，不区分像素是处于状态s＝1还是s＝2。
根据变型，在本发明的该特定实施例中，由于指示符t被系统地编码，因此在步骤E2202中从第一预测模式和第二预测模式中确定用于预测当前像素的预测模式可以例如通过比较由第一预测模式提供的预测值与当前像素的原始值X之间的距离测量、和由第二预测模式提供的预测值与当前像素的原始值X之间的距离测量来完成。
以确保用于局部预测的像素可用的扫描顺序，对当前块的所有像素执行上述步骤。
根据实施例变型，当前块的扫描顺序是字典顺序，即从左到右，以及从上到下。
根据另一实施例变型，可以使用当前块的几种扫描顺序，例如：
-字典顺序，或
-从上到下扫描第一列，然后扫描其正右方的列等，或
-逐个扫描对角线。
根据该另一变型，可能模拟与每个扫描顺序相关联的编码成本，并根据速率/失真为当前块选择最优扫描顺序，然后为当前块编码表示所选的扫描顺序的信息项。
在步骤E2205结束时，确定量化残差块R1Q。该量化残差块R1Q必须被编码以传输到解码器。还确定当前块的预测器P1。
在步骤E223中，量化残差块R1Q被编码以传输到解码器。任何已知的方案(诸如在HEVC中描述的方法)都可以用来编码传统预测残差的量化系数。
以标准方式，当幅度a不同于0时，当前块的每个量化预测残差Q1(X)被分解成幅度值a和符号指示符sgn。
根据这里描述的本发明的特定实施例，使用数据流STR中的熵编码器对量化残差块R1Q的幅度和符号值进行编码。
根据本发明的特定实施例，可能根据为当前块获得的ILR预测器来确定和编码附加预测残差R2。然而，附加预测残差R2的编码是可选的。确实可能简单地通过其预测版本P1和量化残差R1Q对当前块进行编码。
为了对当前块的附加预测残差R2进行编码，执行以下步骤。
在步骤E224中，计算预测器P1和原始当前块Xb之间的差R2，以形成附加残差R2:R2＝Xb-P1。以下步骤对应于该残差R2的传统编码步骤。
在步骤E225中，使用频率变换来变换残差R2，以便产生系数块R2T。
例如，该变换可以是DCT类型的变换。可能从预定变换集ET2中选择要使用的变换，并通知解码器所使用的变换。在这种情况下，集合ET2可以不同于集合ET，以便适于残差R2的特定统计。
在步骤E226中，系数块R2T被量化，例如使用量化步长标量量化δ。这产生块R2TQ。
量化步长δ可以由用户设置。也可以使用参数λ来计算，该参数λ设置压缩和质量之间的折衷，并由用户或编码器键入。例如，量化步长δ可以对应于量化步长δ1，或者类似地确定。
在步骤E227中，量化块R2TQ的系数然后以编码的方式传输。例如，可以使用HEVC标准中指定的编码。
以已知的方式，通过对量化块R2TQ的系数进行反量化，然后对反量化的系数应用逆变换以获得解码的预测残差，来解码当前块。然后，预测P1被添加到解码的预测残差，以便重构当前块并获得其解码版本Xrec。然后当前块的解码版本Xrec可以随后用于空间上预测图像的其他相邻块，或者通过图像间预测来预测其他图像的块。
在步骤E23中，考虑到先前定义的扫描顺序，通过编码方法检查当前块是否是待处理图像的最后一块。如果当前块不是待处理图像的最后一块，则在步骤E24中，根据图像的先前定义的扫描顺序来选择待处理图像的后续块，并且编码方法进行到步骤E2，在步骤E2中，所选择的块成为待处理的当前块。
如果图像的所有块都已经被编码，则该方法进行到步骤E231中以应用将被应用于重构图像的后处理方法。例如，这种后处理方法可以是HEVC标准中定义的解块滤波和/或SAO(采样自适应偏移)方法。
该方法进行到对视频的下一图像(如果有的话)进行编码(步骤E25)。
图2A和2B示意性地图示了根据本发明的不同特定实施例的由上述编码产生的数据流的一部分。
图2A图示了根据本发明的特定实施例编码的图像的块的三个像素(X1、X2、X3)的流的示例，其中已经确定像素X1被认为处于状态s＝3，像素X2被认为处于状态s＝2，并且像素X3被认为处于状态s＝1。
可以看出，根据这里描述的变型，为像素X1编码的数据是量化预测残差的幅度值a(X1)、其符号sgn(X1)、和设置为1的指示符t的值。为像素X2编码的数据是量化预测残差的幅度值a(X2)、其符号sgn(X2)、和指示符t的值。对于X2，量化预测残差的幅度值不同于0，设置为0的指示符t被显式编码在流中。
为像素X3编码的数据是量化预测残差的幅度值a(X3)，该幅度值为零。在这种情况下，量化预测残差的幅度值不同于0，因此设置为0的指示符t没有被显式编码在流中，并且将在解码器处被隐式导出。
图2B图示了根据本发明的另一特定实施例编码的图像的块的三个像素(X1、X2、X3)的流的示例，其中已经确定像素X1被认为处于状态s＝3，像素X2被认为处于状态s＝2，并且像素X3被认为处于状态s＝1。
可以看出，根据这里描述的变型，为像素X1编码的数据是量化预测残差的幅度值a(X1)、其符号sgn(X1)、和设置为1的指示符t的值。为像素X2编码的数据是量化预测残差的幅度值a(X2)、其符号sgn(X2)、和设置为0的指示符t的值。为像素X3编码的数据是作为零的量化预测残差的幅度值a(X3)、和设置为0的指示符t。
图4示出了根据本发明的特定实施例的用于对表示待解码的图像序列I1、I2、……、INb进行解码的方法的步骤。
例如，数据流STR是通过关于图1所示的编码方法生成的。如关于图8所述，数据流STR作为输入被提供至解码设备DEC。
解码方法逐个图像地解码流图像，并且每个图像被逐块地解码。
在步骤E40中，待解码的图像Ij被再分成块。每个块将经历包括一系列步骤的解码操作，这些步骤将在下文详述。块可以是相同大小或者不同大小。
在步骤E41中，根据图像Ij的预定扫描顺序，选择图像Ij的待解码的第一块或子块Xb作为当前块。例如，其可以是图像的字典式扫描顺序中的第一块。
在步骤E42中，从数据流STR中读取指示当前块的编码模式的信息项。根据这里描述的特定实施例，该信息项指示当前块是根据第一编码模式M1编码还是根据第二编码模式M2编码。根据这里描述的特定实施例，第一编码模式M1对应于当前块的例如根据HEVC标准定义的传统帧内预测编码，并且第二编码模式M2对应于环内残差(ILR)预测编码。
在其他特定实施例中，从流STR读取的信息项还可以指示使用其他编码模式来编码当前块(这里未描述)。
下面描述用于在根据第一编码模式M1编码当前块时、解码当前块的步骤E43。
在步骤E430中，确定量化步长δ1。例如，量化步长δ1是根据数据流STR中传输的量化参数QP或类似于在编码器中所做的来确定的。例如，量化参数QP可以是在AVC或HEVC标准中传统使用的量化参数。因此，在HEVC标准中，量化步长δ1由等式δ1＝levelScale[QP％6]<<(QP/6)确定，其中对于k＝0..5，levelScale[k]＝{40,45,51,57,64,72}。
在步骤E431中，从相邻块中解码被选择来编码当前块的预测模式。为此，如在编码器处所做的，使用与当前块的相邻块相关联的帧内预测模式来编码为当前块选择的帧内预测模式。
MPM列表和非MPM列表的构建与编码期间所做的完全相似。根据HEVC标准，解码以下类型的语法元素：
-二进制指示符，指示当前块的待编码的预测模式是否在MPM列表中，
-如果当前块的预测模式属于MPM列表，则读取与当前块的预测模式相对应的MPM列表中的索引，
-如果当前块的预测模式不属于MPM列表，则读取与当前块的预测模式对应的非MPM列表中的索引。
因此，从数据流STR中读取当前块的二进制指示符和预测模式索引，以解码当前块的帧内预测模式。
在步骤E432中，解码器根据解码的预测模式为当前块构建预测块P。
在步骤E433中，解码器例如使用HEVC标准中指定的解码，来从数据流STR中解码量化块RTQ的系数。
在步骤E434中，例如使用量化步长标量反量化δ1对解码块RTQ进行反量化。这产生反量化系数块RTQD。
在步骤E435中，逆频率变换被应用于反量化系数块RTQD，以便产生解码的预测残差块RTQDI。例如，该变换可以是逆DCT类型的变换。通过从数据流STR中解码指示符，可能从预定变换集ETI中选择要使用的变换。
在步骤E436中，根据在步骤E432中获得的预测块P和在步骤E435中获得的解码残差块RTQDI来重构当前块，以便通过Xrec＝P+RTQDI来产生解码的当前块Xrec。
下面描述用于当根据第二编码模式M2编码当前块时解码当前块的步骤E44。
在步骤E440中，类似于在编码器处所做的，确定量化步长δ2。
根据本发明，在该编码模式M2中，当前块的像素可以根据已经关于图1呈现的第一预测模式或第二预测模式来预测。
在步骤E441中，与编码器处所做的类似，从图像的先前解码的像素中确定块中恒定的像素值组。认为级别值f和b已通过编码器确定。
对当前块的每个像素执行以下步骤。
在步骤E4411中，确定当前像素的根据第一预测模式的预测值。为此，使用与编码器处相同的局部预测器PL。当几个局部预测器是可能的时，类似于在编码器处所做地确定局部预测器PL。
在步骤E442中，从数据流STR中解码量化残差R1Q。任何已知的方法(诸如在HEVC中描述的方法)都可以用于解码传统预测残差的量化系数。然后获得当前像素的量化预测残差Q1'(X)的幅度a。
根据本发明的特定实施例，在步骤E4421中，当量化预测残差Q1'(X)的幅度a为零时，指示当前像素是否根据第二预测模式被预测的指示符t被隐式地设置为0。在这种情况下，当前像素被认为处于状态s＝1，并且其将通过从第一预测模式产生的预测值来预测。量化预测残差Q1'(X)然后通过Q1′(X)＝0被重构。
否则，当量化预测残差Q1'(X)的幅度a不为零时，在数据流STR中读取与量化预测残差Q1'(X)相关联的符号sgn。量化预测残差Q1'(X)然后通过Q1′(X)＝a×sgn被重构。
然后，在步骤E4422中，在数据流STR中读取当前像素的指示符t。如果读取的指示符t的值为0，则当前像素的状态为s＝2。如果读取的指示符t的值为1，则当前像素的状态为s＝3。
根据本发明的另一特定实施例，针对当前块的每个像素系统地编码指示符t。在这种情况下，在步骤E4422中，在数据流STR中读取指示符t的值0或1，并且相应地设置像素的状态s。
当当前像素的状态为s＝3时，根据第二预测模式预测当前像素。在这种情况下，在步骤E4423中，选择在步骤E441中确定的值组的值，并将其分配给与当前像素相关联的预测值PL(X)，以类似于在编码器处所做地预测当前像素。例如，如果|PL(X)-b|<|PL(X)-f|，那么PL(X)＝b，否则PL(X)＝f。
该方法然后进行到步骤E443。
当当前像素的状态为s＝2或s＝1时，根据第一预测模式预测当前像素。在这种情况下，不改变在步骤E4411中根据第一预测模式确定的当前像素的预测值PL(X)。
在步骤E443中，使用量化步长δ2对量化残差Q1'(X)进行反量化，以便产生反量化的残差QD1(X)。
在步骤E444中，使用在步骤E4411或E4423中确定的预测值PL(X)和反量化的预测残差QD1(X)来获得当前像素的重构值X':X'＝PL(X)+QD1(X)。
当前块的像素的预测残差Q1(X)被放置在预测残差块R1Q中，当前块的像素的反量化预测残差QD1(X)被放置在反量化预测残差块R1QD中，当前块的像素的重构值X'被放置在重构块P1中。
以确保用于局部预测的像素可用的扫描顺序，对当前块的所有像素执行上述步骤。
例如，扫描顺序是字典顺序(从左到右，然后从上到下的行)。
根据本发明的特定实施例，包括当前块的每个像素的重构值PL(X)+QD1(X)的块P1在此形成解码的当前块Xrec。
根据本发明的另一特定实施例，认为对于当前块编码了附加预测残差。因此，为了重构当前块Xrec的解码版本，必须解码该附加预测残差。
例如，该另一特定实施例可以在编码器和解码器级别被默认激活或不被激活。或者，可以在数据流中用块级别信息编码指示符，以指示对于根据ILR编码模式编码的每个块，是否编码了附加预测残差。或者进一步地，可以在数据流中用图像或图像序列级别信息对指示符进行编码，以指示对于根据ILR编码模式编码的图像或图像序列的所有块，是否编码了附加预测残差。
当对于当前块编码附加预测残差时，在步骤E445中，使用适于在编码器处实现的手段(例如在HEVC解码器中实现的手段)，从数据流STR中解码量化预测残差R2TQ的系数。
在步骤E446中，量化系数块R2TQ例如使用量化步长标量反量化δ1被反量化。这产生反量化系数块R2TQD。
在步骤E447中，逆频率变换被应用于块R2TQD，以便产生解码的预测残差块R2TQDI。
例如，逆变换可以是逆DCT类型的变换。
可能从预定变换集ET2中选择要使用的变换，并对通知解码器要使用的变换的信息项进行解码。在这种情况下，集合ET2不同于集合ET，以便适应残差R2的特定统计。
在步骤E448中，通过将在步骤E444中获得的预测块P1添加到解码预测残差R2TQDI，来重构当前块。
在步骤E45中，考虑到先前定义的扫描顺序，通过解码方法检查当前块是否是待处理图像的最后一块。如果当前块不是待处理图像的最后一块，则在步骤E46中，根据图像的先前定义的扫描顺序选择待处理图像的后续块，并且解码方法进行到步骤E42，所选择的块成为待处理的当前块。
如果图像的所有块都已经被编码，则该方法进行到在步骤E451中将被应用于重构图像的后处理方法的应用(如果需要)。这种后处理方法可以是解块滤波和/或SAO方法。
该方法然后进行到对视频的下一图像(如果有的话)进行解码(步骤E47)。
图7示出了适于实现根据本发明任何一个特定实施例的编码方法的编码设备COD的简化结构。
根据本发明的特定实施例，编码方法的步骤由计算机程序指令实现。为此，编码设备COD具有计算机的标准架构，并且具体地包括存储器MEM、配备有例如处理器PROC并且由存储在存储器MEM中的计算机程序PG驱动的处理单元UT。计算机程序PG包括用于当程序由处理器PROC运行时、实现上述编码方法的步骤的指令。
在初始化时，计算机程序PG的代码指令例如在被处理器PROC运行之前被加载到RAM存储器(未示出)中。具体地，处理单元UT的处理器PROC根据计算机程序PG的指令实现上述编码方法的步骤。
图8示出了适于实现根据本发明的任何一个特定实施例的解码方法的解码设备DEC的简化结构。
根据本发明的特定实施例，解码设备DEC具有计算机的标准架构，并且具体地包括存储器MEM0、配备有例如处理器PROC0并且由存储在存储器MEM0中的计算机程序PG0驱动的处理单元UT0。计算机程序PG0包括用于当程序由处理器PROC0运行时、实现如上所述的解码方法的步骤的指令。
在初始化时，计算机程序PG0的代码指令例如在被处理器PROC0运行之前被加载到RAM存储器(未示出)中。具体地，处理单元UT0的处理器PROC0根据计算机程序PG0的指令实现上述解码方法的步骤。
Claims (9)
1.一种用于解码表示至少一个图像的编码的数据流的方法，所述图像被分割成块，所述方法包括，对于所述图像中被称为当前块的至少一个块：
-从先前解码的像素确定(E441)所述块中恒定的像素值组，
-对于所述块的每个像素：
(i)解码(E442)与所述像素相关联的预测残差，
(ii)根据第一预测模式确定(E4411)与所述像素相关联的预测值，
所述像素是根据所述第一预测模式从至少一个其他先前解码的像素预测的，所述其他先前解码的像素属于所述当前块，
(iii)从所述数据流中解码(E4422)信息项，所述信息项指示所述像素是否是根据第二预测模式所预测的，所述像素是根据所述第二预测模式使用从所述块中恒定的所述像素值组产生的预测而预测的，
(iv)当所述信息项指示所述像素是根据所述第二预测模式预测的时：
(a)根据与所述像素相关联的预测值相比于所述块中恒定的所述像素值组的像素值之间的距离来选择(E4423)所述块中恒定的所述像素值组的值，
(b)用所选择的值来替代(E4423)与所述像素相关联的所述预测值，
(v)使用与所述像素相关联的预测值以及所述预测残差来重构(E444)所述像素。
2.一种用于编码表示至少一个图像的数据流的方法，所述图像被分割成块，所述方法包括，对于所述图像中被称为当前块的至少一个块：
-从先前解码的像素确定(E221)所述块中恒定的像素值组，
-对于所述块的每个像素：
(i)根据第一预测模式确定(E2201)与所述像素相关联的预测值，
所述像素是根据所述第一预测模式从至少一个其他先前解码的像素预测的，所述其他先前解码的像素属于所述当前块，
(ii)从所述第一预测模式和第二预测模式中确定(E2202)所述像素的预测模式，所述像素是根据所述第二预测模式使用从所述块中恒定的所述像素值组产生的预测而预测的，
(iii)在所述数据流中编码(E2203、E2207)指示所述像素是否是根据所述第二预测模式而预测的信息项，
(iv)当所述信息项指示所述像素是根据所述第二预测模式而预测的时：
(a)根据与所述像素相关联的预测值相比于所述块中恒定的所述像素值组的像素值之间的距离来选择(E2204)所述块中恒定的所述像素值组的值，
(b)用所选择的值来替代(E2204)与所述像素相关联的所述预测值，
(v)使用与所述像素相关联的预测值和所述像素的值来计算(E2205)与所述像素相关联的量化的预测残差，
(vi)使用与所述像素相关联的预测值和所解码的预测残差来重构(E2206)所述像素，
(vii)在所述数据流中编码(E223)与所述像素相关联的量化的预测残差。
3.根据权利要求1或2所述的方法，其中所述块中恒定的所述像素值组包括第一值和第二值，当与所述像素相关联的预测值和所述第一值之间的距离小于与所述像素相关联的预测值和所述第二值之间的距离时，所述块中恒定的所述像素值组的所选择的值是所述第一值，否则所述块中恒定的所述像素值组的所选择的值是所述第二值。
4.根据权利要求1或2所述的方法，其中，仅当所述预测残差不等于0时，才执行从所述数据流解码或在所述数据流中编码所述信息项，所述信息项指示所述像素是否是根据所述第二预测模式被预测的。
5.根据权利要求1或2所述的方法，其中通过计算所述当前块的先前已经重构的相邻像素的值的直方图，并选择分别表示所述当前块的相邻像素中最频繁的两个像素值的至少两个像素值，来执行从先前解码的像素确定所述块中恒定的像素值组。
6.根据权利要求2所述的方法，其中从所述块中恒定的来自先前解码的像素的所述像素值组的至少一个值确定阈值，在确定所述像素的预测模式时，在以下情况下选择所述第二预测模式：
-当所述像素的原始值大于所述阈值并且所述阈值大于根据所述第一预测模式确定的与所述像素相关联的预测值时，或
-当所述像素的原始值小于所述阈值并且所述阈值小于根据所述第一预测模式确定的与所述像素相关联的预测值时。
7.一种用于解码表示至少一个图像的编码的数据流的设备，所述图像被分割成块，所述设备包括处理器(PROC0)，所述处理器被配置为对于所述图像中被称为当前块的至少一个块：
-从先前解码的像素确定所述块中恒定的像素值组，
-对于所述块的每个像素：
(i)解码与所述像素相关联的预测残差，
(ii)从至少一个其他先前解码的像素确定与所述像素相关联的预测值，所述其他先前解码的像素属于所述当前块，
(iii)从所述数据流中确定信息项，所述信息项指示所述像素是否是使用从所述块中恒定的所述像素值组产生的预测而预测的，
(iv)当所述信息项指示所述像素是使用从所述块中恒定的所述像素值组产生的预测而预测的时：
(a)根据与所述像素相关联的预测值相比于所述块中恒定的像素值组的像素值之间的距离来选择所述块中恒定的像素值组的值，
(b)用所选择的值来替代与所述像素相关联的所述预测值，
(v)使用与所述像素相关联的预测值以及所述预测残差来重构所述像素。
8.一种用于编码表示至少一个图像的数据流的设备，所述图像被分割成块，所述设备包括处理器(PROC)，所述处理器被配置为对于所述图像中被称为当前块的至少一个块：
-从先前解码的像素确定所述块中恒定的像素值组，
-对于所述块的每个像素：
(i)根据第一预测模式确定与所述像素相关联的预测值，所述像素是根据所述第一预测模式从至少一个其他先前解码的像素预测的，所述其他先前解码的像素属于所述当前块，
(ii)从所述第一预测模式和第二预测模式中确定所述像素的预测模式，所述像素是根据所述第二预测模式使用从所述块中恒定的所述像素值组产生的预测而预测的，
(iii)在所述数据流中编码指示所述像素是否是根据所述第二预测模式而预测的信息项，
(iv)当所述信息项指示所述像素是根据所述第二预测模式而预测的时：
(a)根据与所述像素相关联的预测值相比于所述块中恒定的像素值组的像素值之间的距离来选择所述块中恒定的像素值组的值，
(b)用所选择的值来替代与所述像素相关联的所述预测值，
(v)使用与所述像素相关联的预测值和所述像素的值来计算与所述像素相关联的预测残差，
(b)在所述数据流中对与所述像素相关联的预测残差进行编码，(vii)使用与所述像素相关联的预测值和所解码的预测残差来重构所述像素。
9.一种计算机可读数据介质，包括计算机程序的指令，其中，当所述计算机程序由处理器运行时，所述指令实现根据权利要求1或3至5中任一项所述的方法或根据权利要求2至6中任一项所述的方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1901228A FR3092719A1 (fr) | 2019-02-07 | 2019-02-07 | Procédés et dispositifs de codage et de décodage d'un flux de données représentatif d'au moins une image. |
| FR1901228 | 2019-02-07 | ||
| PCT/FR2020/050146 WO2020161413A1 (fr) | 2019-02-07 | 2020-01-30 | Procédés et dispositifs de codage et de décodage d'un flux de données représentatif d'au moins une image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113412618A CN113412618A (zh) | 2021-09-17 |
| CN113412618B true CN113412618B (zh) | 2024-05-17 |
Family
ID=67185272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080013072.3A Active CN113412618B (zh) | 2019-02-07 | 2020-01-30 | 用于编码和解码表示至少一个图像的数据流的方法和设备 |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US20220103862A1 (zh) |
| EP (1) | EP3922017A1 (zh) |
| JP (1) | JP2022519739A (zh) |
| KR (1) | KR20210128401A (zh) |
| CN (1) | CN113412618B (zh) |
| BR (1) | BR112021014787A2 (zh) |
| FR (1) | FR3092719A1 (zh) |
| WO (1) | WO2020161413A1 (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106797472A (zh) * | 2014-06-27 | 2017-05-31 | 必卡姆公司 | 编码数字图像的方法和相关解码方法、装置及计算机程序 |
| CN107094254A (zh) * | 2011-06-24 | 2017-08-25 | 杜比国际公司 | 图像编码和解码的方法、编码和解码设备以及计算机程序 |
| FR3066873A1 (fr) * | 2017-05-29 | 2018-11-30 | Orange | Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9253508B2 (en) | 2011-11-04 | 2016-02-02 | Futurewei Technologies, Inc. | Differential pulse code modulation intra prediction for high efficiency video coding |
| FR3046321B1 (fr) * | 2015-12-29 | 2018-01-26 | B<>Com | Procede de codage d'une image numerique, procede de decodage, dispositifs, terminal d'utilisateur et programmes d'ordinateurs associes |
| TW201907732A (zh) * | 2017-07-05 | 2019-02-16 | 財團法人工業技術研究院 | 視訊編碼方法、視訊解碼方法、視訊編碼器及視訊解碼器 |
-
2019
- 2019-02-07 FR FR1901228A patent/FR3092719A1/fr not_active Withdrawn
-
2020
- 2020-01-30 EP EP20707501.1A patent/EP3922017A1/fr active Pending
- 2020-01-30 JP JP2021546344A patent/JP2022519739A/ja active Pending
- 2020-01-30 US US17/429,174 patent/US20220103862A1/en active Pending
- 2020-01-30 BR BR112021014787-0A patent/BR112021014787A2/pt unknown
- 2020-01-30 CN CN202080013072.3A patent/CN113412618B/zh active Active
- 2020-01-30 WO PCT/FR2020/050146 patent/WO2020161413A1/fr unknown
- 2020-01-30 KR KR1020217025873A patent/KR20210128401A/ko unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107094254A (zh) * | 2011-06-24 | 2017-08-25 | 杜比国际公司 | 图像编码和解码的方法、编码和解码设备以及计算机程序 |
| CN106797472A (zh) * | 2014-06-27 | 2017-05-31 | 必卡姆公司 | 编码数字图像的方法和相关解码方法、装置及计算机程序 |
| FR3066873A1 (fr) * | 2017-05-29 | 2018-11-30 | Orange | Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image |
Also Published As
| Publication number | Publication date |
|---|---|
| BR112021014787A2 (pt) | 2021-09-28 |
| FR3092719A1 (fr) | 2020-08-14 |
| US20220103862A1 (en) | 2022-03-31 |
| JP2022519739A (ja) | 2022-03-24 |
| WO2020161413A1 (fr) | 2020-08-13 |
| CN113412618A (zh) | 2021-09-17 |
| EP3922017A1 (fr) | 2021-12-15 |
| KR20210128401A (ko) | 2021-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3007447A1 (en) | Method for improving intra-prediction of diagonal mode in video coding | |
| EP2317769A1 (en) | Luminance dependent quantization | |
| US20230199193A1 (en) | Methods and devices for coding and decoding a data stream representing at least one image | |
| JP2024056766A (ja) | 少なくとも１つの画像を表すデータストリームをコーディングおよびデコーディングするための方法および装置 | |
| CN113412618B (zh) | 用于编码和解码表示至少一个图像的数据流的方法和设备 | |
| CN112740690B (zh) | 用于编码和解码代表至少一个图像的数据流的方法和设备 | |
| JP7466469B2 (ja) | 少なくとも１つの画像を表すデータストリームをコーディングおよび復号するための方法およびデバイス | |
| CN112740692B (zh) | 用于编码和解码表示至少一个图像的数据流的方法和设备 | |
| CN118175323A (zh) | 用于编码和解码代表至少一个图像的数据流的方法和设备 | |
| US20230199196A1 (en) | Methods and Apparatuses of Frequency Domain Mode Decision in Video Encoding Systems | |
| KR102543086B1 (ko) | 화상을 인코딩 및 디코딩하기 위한 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |