CN107027035A - 编码多维数字信号的方法和设备及解码的相应方法和设备 - Google Patents

编码多维数字信号的方法和设备及解码的相应方法和设备 Download PDF

Info

Publication number
CN107027035A
CN107027035A CN201610787282.3A CN201610787282A CN107027035A CN 107027035 A CN107027035 A CN 107027035A CN 201610787282 A CN201610787282 A CN 201610787282A CN 107027035 A CN107027035 A CN 107027035A
Authority
CN
China
Prior art keywords
physical quantity
sample
local
considered
bit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610787282.3A
Other languages
English (en)
Other versions
CN107027035B (zh
Inventor
M·博纳
F·勒博维斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
STMicroelectronics Grenoble 2 SAS
Original Assignee
STMicroelectronics Grenoble 2 SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by STMicroelectronics Grenoble 2 SAS filed Critical STMicroelectronics Grenoble 2 SAS
Publication of CN107027035A publication Critical patent/CN107027035A/zh
Application granted granted Critical
Publication of CN107027035B publication Critical patent/CN107027035B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

提供了编码多维数字信号的方法和设备及解码的相应方法和设备。一种在编码信号(SIC)中编码初始数字信号(SIM)的方法,该初始数字信号包括表示多维度空间的样本序列,每个样本被指派至少一个物理量,该方法包括:对于当前样本中的至少一些,在编码的局部数字信号(SICL)中局部化编码(20)信号,这些编码在局部参考帧中执行,每一个包括所考虑的当前样本和两个参考样本,该两个参考样本是基于所述至少一个物理量的最小梯度从所述序列的可用样本当中选择的,编码信号(SIC)包括所述编码的局部数字信号(SICL)。

Description

编码多维数字信号的方法和设备及解码的相应方法和设备
技术领域
本发明的实现和实施例涉及数字数据的编码,并且更具体地涉及数字数据的压缩,并且特别地涉及表示例如图像信号的多维度空间的数字信号的编码。
背景技术
然而,可以设想其他多维度信号,诸如例如多声道音频信号。
通常,在图像处理的上下文中,要在例如电视屏幕的屏幕上显示的图像帧由表示像素网格的数字信息的矩阵结构来表示,并且多个颜色分量被指派给每个像素,例如光度Y以及色度Cr和Cb的分量,每一个处理所考虑的像素的水平或幅度。因此,这样的像素结构或“位图”逐位或逐像素对应于必须在屏幕上显示的图像(这然后被称为“光栅”图像)。而且,像素结构通是常与用于存储在屏幕的视频存储器的格式的相同的格式。而且,由此存储在视频存储器中的光栅帧按行逐像素并且逐行被读取。这然后被称为“光栅扫描”。
当前,用于称为HDTV的高清晰度数字电视的帧的大小是称为“2K1K”的尺寸,即包括1080行的1920个像素。此外,频率(即每秒帧的数目)是60Hz。
为了在将该解码器链接到电视的有线连接上传送由TV解码器发出的这样的图像信号,有必要执行对由解码器发出的图像信号的压缩。事实上,在不压缩的情况下传送这样的图像信号需要极高的传输速度,这通常是高成本的并且产生电磁干扰。
这是用于执行对由解码器发出的信号的压缩的原因。
为了将图像存储在解码内部或外部的存储器中,压缩/解压缩处理也可能是必要的。
实际上,视频信号通常以例如根据标准H264或HEVC的编码格式被接收,然后所述信号以在存储器空间更大量的RGB或YCbCr图像格式被解码。
然而,各种处理通常被应用于解码图像。而且,在每个处理之间,图像以解码的格式被存储在例如缓冲存储器中。为了限制所使用的存储器的容量,有利地在存储在存储器之前执行解码图像的压缩,然后在处理之前在存储器中进行读取时执行解压缩。
这样的压缩/解压缩不必引入图像的任何劣化。
当前,可以通过对图像信号的色度分量应用二维低通滤波器来执行食品的传统压缩。然而,即使在屏幕上最终显示的图像的质量仍然可接受,图像信号的高频信息也可能丢失。
根据一种实现和实施例,提供了一种用于编码/解码多维信号的方法和设备,这有利地产生了多维信号的压缩/解压缩,以用于保存在信号的整个频带上的频谱性能(没有线性滤波器),同时不会受高斯白噪声的显著影响。
在视频领域中,由此提出了用于编码/解码的方法和设备,被有利地通过压缩/解压缩来表示,以用于减少所显示的图像的可见劣化。
还提供了一种方法和编码设备,用于显著增加压缩率以至少实现例如3X的压缩率。
发明内容
根据一个方面,提供了一种在编码信号中对例如图像信号的初始数字信号进行编码的方法。初始数字信号包括样本序列,例如像素序列,表示多维度空间,例如图像。
每个样本被指派至少一个物理量。在图像信号的情况下,每个像素被指派例如形成所述物理量的颜色分量。
在多声道音频信号的情况下,每个音频样本的物理量可以是所述声道中的每一个的声音水平。
在视频应用的情况下,像素序列可以是图像的完整帧或图像的例如64×64个像素的宏块,然后宏块顺序到达。像素序列还可以被理解为是连续的图像帧的像素,这些像素根据“光栅”格式顺序地并且逐行到达。
该方法包括,对于当前样本中的至少一些,在编码的局部数字信号中信号的局部化编码,这些编码在局部参考帧中执行,每一个局部参考帧包括所考虑的当前样本和两个参考样本,该两个参考样本是基于所述至少一个物理量的最小梯度从所述序列的可用样本当中选择的,所述编码信号包括所述编码的局部数字信号。
序列的可用样本可以是已经接收到的样本的全部或一部分,例如“光栅”格式的情况下已经到达的样本或在已经到达并且包括所述当前样本的宏块的样本。此外,这些可用样本可能或可能没有经历局部化编码。这些可用样本可以是或可以不是远离该样本的当前样本的相邻样本。
包含可用样本的区域的大小的选择明显是从在处理的复杂度和编码信号的期望精度之间的折衷得到的。
指派给当前样本的物理量的梯度被理解为例如在该当前样本的水平处看到的该物理量水平的变化,即,在指派给当前样本的所述物理量的水平和指派给另一样本(例如,该当前样本的相邻样本)的该相同物理量的水平之间的差。
因此,有利地使用由信号传达的信息(例如,图像的颜色信息)分离成分量对来提供局部化编码,分量对即梯度幅度和结构(局部参考帧)。通过搜索在可用候选样本的区域(例如,在当前样本的邻居中的局部化区域)中具有最小误差的对来逐样本(例如,逐像素)局部计算梯度幅度/结构对。
在实践中,信号的局部化编码的特征被优选地选择,使得每个编码的局部数字信号的比特数目小于其上呈现所考虑的物理量(physical magnitude)的水平的比特数目。
例如,如果通过10至16比特的字来表示物理量,则应当优先选择局部化编码的特性,以便于获得小于或等于9的比特数目或者甚至低得多的比特数目的局部编码的特性。
因此,局部化编码通过局部化压缩来表示。
然而,在一些应用中,例如对于由8个比特的字表示的物理量,局部化编码能够使一些样本以在大于8的例如9个比特数目进行编码的局部数字信号。然而,证明了对于其他样本,局部信号可以在低得多比特数目,例如3个比特上进行编码,尽管如此仍然整体产生压缩信号中的编码信号。
根据一个实现,每个局部化编码包括:对于指派给所考虑的当前样本的每个物理量,在所述局部参考帧中的数字参数设置以及在所述局部参考帧中所考虑的物理量的水平,以便于获得与当前样本和所考虑的物理量相关联的局部编码信号。
根据一个实现,每个局部化编码包括:对于指派给所考虑的当前样本的每个物理量,确定局部参考帧由所述当前样本和两个参考样本形成,所述两个参考样本是至少从在所述序列的至少两个可用样本和所述当前样本之间的所考虑的物理量的梯度当中的具有最低绝对值的梯度的确定来选择的,所述序列的至少两个可用样本例如该当前样本的两个相邻样本。
根据一个实现,所述局部参考帧的第一参考样本是至少从所考虑的物理量的梯度当中具有最低绝对值的梯度的确定来选择的,并且所述第二参考样本是
与所述第一参考样本和所述当前样本形成直角的其余可用样本,或
至少从所考虑的物理量的梯度当中具有最大绝对值的梯度的确定来选择的其余可用样本。
当每个样本被指派多个物理量时,如例如用于像素指派的多个颜色分量的该情况,能够确定用于与该当前样本相关联的每个物理量的局部参考帧。
然而,在实践中,为简单起见,优选地对于每个当前样本确定对于指派给该当前样本的所有物理量有效的唯一局部参考帧。
根据一个实现,所述局部参考帧的确定包括:每个当前样本属于至少3个样本的组,该组包括所述序列的至少两个可用样本和所述当前样本,所述序列的至少两个可用样本例如该当前样本的两个相邻样本,
确定的第一步骤包括:对于每个物理量,确定在所述当前样本和每个可用样本之间的该物理量的梯度,
选择第一参考样本的步骤包括:从所述可用样本当中选择在针对所有物理量计算的所有梯度当中其关联梯度具有最低绝对值的可用样本,
确定第二参考样本的第二步骤包括:从其余可用样本当中确定与所述第一参考样本和所述当前样本形成直角,或者对应于在针对所有物理量计算的所有梯度当中其关联梯度具有最大绝对值的可用样本的可用样本。
根据有利的实现,特别适合于“光栅扫描”,对于每个当前样本,所述组包括所述当前样本和四个相邻样本,所述四个相邻样本已经引起与这些相邻样本相关联的编码的局部数字信号的建立,并且所述第二参考样本是与所述第一参考样本和所述当前样本的形成直角。
根据一个实现,局部参考帧的参数设置包括第一比特的组的准备,例如,两比特,其值定义可能的结构集合当中的局部参考帧的结构。
根据一个实现,在局部参考帧中考虑的物理量的水平的参数设置包括确定极性比特,其值至少指示指派给所述当前样本的所考虑的物理量的水平相对于指派给所述第一参考样本的所述物理量的水平的定位。下面更详细地看到,在一些情况下,该极性比特可以进一步指示指派给当前样本的所考虑的物理量的水平是否位于指派给第一参考样本的所述物理量的水平和指派给所述第二参考样本的所述物理量的水平之间。
根据一个实现,在局部参考帧中考虑的物理量的水平的参数设置包括
准备至少涉及在所述当前样本和所述第一参考样本之间的所述物理量的梯度的绝对值的参数,称为第一梯度,
将该参数与阈值作比较,以及
准备表示所述比较的结果的第三比特。
如将在下面更详细地看到的,该参数可以是例如第一梯度本身的绝对值或归一化梯度。
使用归一化梯度带来了更高的精度和更好的图像质量,但是需要在编码器中执行划分。使用单个第一梯度的绝对值更容易实现并且证明在大多数应用中是足够的。
不论对所述参数所作的选择如何,如果参数小于或等于所述阈值时,则其有利地被认为是零。而且在该情况下,如将在下面更详细地看到的,这产生在一个非常小的比特数(例如,3个比特)上编码的局部信号,这产生了高压缩率。
而且,如果所述阈值被选择为使得对于非常大数目的样本,例如样本的90%,所述参数是零,则可以获得有用的压缩率。
此外,在局部参考帧中所考虑的物理量的水平的参数设置进一步有利地包括对所述参数的第二比特组的压缩编码,以便于获得压缩参数。
如前所述,根据可能的变体,极性比特指示指派给当前样本的所考虑的物理量的水平是否位于指派给所述第一参数样本的所述物理量的水平和指派给所述第二参考样本的所述物理量的水平之间,并且在局部参考帧中的所考虑的物理量的水平的参数设置包括:
确定在所述当前样本和所述第二参考样本之间的所述物理量的梯度的绝对值,称为第二梯度,
从所述第一梯度和所述第二梯度的绝对值确定归一化的梯度,所述归一化的梯度形成所述参数。
根据另一可能的变体,极性比特指示指派给所述当前样本的所考虑的物理量的水平小于还是大于指派给所述第一参考样本的所述物理量的水平,并且所述第一梯度的绝对值形成所述参数。
根据一个实现,与上述两个变体明显兼容,与指派给当前样本的所考虑的物理量相关联的编码的局部数字信号包括至少第三比特,即,表示在参数和阈值之间的比较的结果的比特。
然而,与指派给当前样本的所考虑的物理量相关联的编码的局部数字信号可以包括第一比特(表示局部参考帧的结构)以及可选地压缩的参数和极性比特的组。
更精确地说,如果所述参数小于或等于所述阈值,则编码的局部数字信号仅包含所述第一比特和所述第三比特的组,并且如果所述参数大于所述阈值,则编码的局部数字信号包含第一比特、压缩的参数、极性比特和第三比特的组。
考虑到迭代误差估计,有利的是在所述局部参考帧中的所考虑的物理量的水平的参数设置进一步包括:
从所述压缩的参数周围的第一压缩的附加数字字和第二压缩的附加数字字的压缩参数进行准备,
所述第一压缩的附加数字字的解压缩解码,
从所述第一解码的附加数字字重新构建所述物理量的水平,以便于获得所述物理量的第一重新构建的水平,
在所考虑的物理量的水平和所述第一重新构建的水平之间的第一误差的准备,
所述第二压缩的数字字的解压缩解码,
从所述第二解码的附加数字字重新构建所述物理量的水平,以便于获得所述物理量的第二重新构建的水平,
在所考虑的物理量的水平和所述第二重新构建的水平之间的第二误差的准备,
给予所述第一误差和所述第二误差的最低误差的所述第一压缩的附加数字字或所述第二压缩的附加数字字中的一个的选择,以及
如果所述参数小于或等于所述阈值,则其被认为是零,并且然后,所述编码的局部数字信号仅包含第一比特和所述第三比特的组,而如果所述参数大于所述阈值,则所述编码的局部数字信号包含第一比特、所选择的压缩的附加数字字、所述极性比特和所述第三比特的组。
换言之,在该情况下,压缩参数(即,例如,第一压缩梯度或压缩归一化梯度)是用所选择的压缩附加数字字来替代,即这导致最低的误差。
为了允许误差扩散,在局部参考帧中的所考虑的物理量的水平的参数设置可以进一步有利地包括:在所述参数上或者在所述压缩参数上添加伪随机量。
在一些情况下,样本序列可以被细分成多个子序列。这是例如当信号是以YCbCr420格式编码的视频信号时的情况。然后,第一子序列可以包括被指派YCbCr分量的样本。第二子序列可以由位于第一序列样本之间的样本组成,并且第三序列可以由被指派Y分量并且由第二序列的样本包围的样本来组成。
然后,可以对这些序列中的每一个并行地或顺序地执行局部化压缩。
为了在局部化编码期间获得恒定的耐受性,可能是有利的是,对的执行这些局部化编码的初始信号是从对基本信号执行的预处理得到的,该预处理包括例如预增强处理。
根据另一方面,提供了一种对解码信号中的数字信号进行解码的方法,所述数字信号已经通过根据前述权利要求中的一项所述的方法来被编码,解码的方法包括:对于每个当前样本并且对于每个物理量,从与该当前样本相关联的编码的局部数字信号准备所考虑的物理量的水平,以便于发出解码的局部信号,解码信号包括所述解码的局部信号。
当在预增强处理之后已经对初始数字信号进行编码时,有利的是对解码信号执行后处理,该后处理包括去增强处理。
根据另一方面,提供了一种在编码信号中对初始数字信号进行编码的设备,所述初始数字信号包括表示多维度空间的样本序列,每个样本被指派至少一个物理量;所述设备包括:处理装置,被配置用于对于当前样本中的至少一些,执行在局部参考帧中的编码的局部数字信号中的信号的局部化编码,每一个局部参考帧包括所考虑的当前样本和两个参考样本,所述两个参考样本是基于所述至少一个物理量的最小梯度从所述序列的可用样本当中选择的,所述编码信号包括所述编码的局部数字信号。
根据一个实施例,处理装置被配置用于:对于指派给所考虑的当前样本的每个物理量,对所述局部参考帧和在所述局部参考帧中所考虑的物理量的水平中数字参数设置,以便于获得与所述所考虑的当前样本和所考虑的物理量相关联的编码的局部数字信号。
根据一个实施例,处理装置被配置用于,对于指派给所考虑的当前样本的每个物理量,执行由所述当前样本和两个参考样本形成的局部参考帧的确定,所述两个参考样本是至少从在所述序列的至少两个可用样本和所述当前样本之间的所考虑的物理量的梯度当中的具有最低绝对值的梯度的确定来选择的。
根据一个实施例,处理装置被配置用于至少从所考虑的物理量的梯度当中具有最低绝对值的梯度的确定来选择所述局部参考帧的第一参考样本,并且所述第二参考样本是
与所述第一参考样本和所述当前样本形成直角的其余可用样本,或
至少从所考虑的物理量的梯度当中具有最大绝对值的梯度的所述确定来选择的其余可用样本。
根据一个实施例,每个样本被指派多个物理量,并且对于每个当前样本,所述处理装置被配置用于确定对于指派给该当前样本的所有物理量有效的唯一局部参考帧。
根据一个实施例,处理装置被配置用于,对于属于包括所述当前样本和至少两个可用样本的至少3个样本的组的每个当前样本,执行所述局部参考帧的确定,包括:
确定的第一步骤包括:对于每个物理量,确定在所述当前样本和每个可用样本之间的该物理量的梯度,
选择第一参考样本的步骤包括:从所述可用样本当中选择在针对所有物理量计算的所有梯度当中其关联梯度具有最低绝对值的可用样本,
确定第二参考样本的第二步骤包括:从其余可用样本当中确定与所述第一参考样本和所述当前样本形成直角或者对应于在针对所有物理量计算的所有梯度当中其关联梯度具有最大绝对值的可用样本的可用样本。
根据一个实施例,对于每个当前样本,所述组包括所述当前样本和四个相邻样本,所述四个相邻样本已经引起与这些相邻样本相关联的数字块的建立,并且所述第二参考样本是其与所述第一参考样本和所述当前样本形成直角的样本。
根据一个实施例,处理装置被配置用于,对于所述局部参考帧的参数设置执行第一比特的组的准备,第一比特的组的值定义可能的结构集合当中的局部参考帧的结构。
根据一个实施例,所述处理装置被配置用于对于在所述局部参考帧中所考虑的物理量的水平的参数设置,执行极性比特的确定,其值至少指示指派给所述当前样本的所考虑的物理量的水平相对于指派给所述第一参考样本的所述物理量的水平的定位。
根据一个实施例,所述处理装置被配置用于,对于在所述局部参考帧中所考虑的物理量的水平的参数设置执行涉及在所述当前样本和所述第一参考样本之间的所述物理量的被称为第一梯度的梯度的绝对值的参数的准备,将该参数与阈值作比较,并且表示所述比较的结果的第三比特的准备。
根据一个实施例,如果所述参数小于或等于所述阈值,其被认为是零。
根据一个实施例,所述处理装置被配置用于,对于在所述局部参考帧中考虑的物理量的水平的参数设置,对所述参数的第二比特组执行压缩编码,以便于获得压缩的参数。
根据一个实施例,所述极性比特指示指派给所述当前样本的所考虑的物理量的水平是否位于指派给所述第一参数样本的所述物理量的水平和指派给所述第二参考样本的所述物理量的水平之间,并且所述处理装置被配置用于,对于在所述局部参考帧中的所考虑的物理量的水平的参数设置,进一步执行:
确定在所述当前样本和所述第二参考样本之间的所述物理量的称为第二梯度的梯度的绝对值,
从所述第一梯度和所述第二梯度的绝对值确定归一化的梯度,所述归一化的梯度形成所述参数。
根据另一实施例中,极性比特指示指派给所述当前样本的所考虑的物理量的水平小于还是大于指派给所述第一参考样本的所述物理量的水平,并且所述第一梯度的绝对值形成所述参数。
根据一个实施例,与指派给所述当前样本的所考虑的物理量相关联的编码的局部数字信号包括至少第三比特。
根据一个实施例,与指派给所述当前样本的所考虑的物理量相关联的编码的局部数字信号包括第一比特以及可选地压缩的参数和极性比特的组。
根据一个实施例,如果所述参数小于或等于所述阈值,则所述编码的局部数字信号仅包含所述第一比特和所述第三比特的组,并且如果所述参数大于所述阈值,则所述编码的局部数字信号包含第一比特、所述压缩的参数、所述极性比特和所述第三比特的组。
根据一个实施例,处理装置被配置用于,对于在所述局部参考帧中的所考虑的物理量的水平的参数设置,进一步执行:
从所述压缩的参数周围的第一压缩的附加数字字和第二压缩的附加数字字的压缩参数进行准备,
所述第一压缩的附加数字字的解压缩解码,从所述第一解码的附加数字字重新构建所述物理量的水平,以便于获得所述物理量的第一重新构建的水平,
在所考虑的物理量的水平和所述第一重新构建的水平之间的第一误差的准备,
所述第二压缩的数字字的解压缩解码,
从所述第二解码的附加数字字重新构建所述物理量的水平,以便于获得所述物理量的第二重新构建的水平,
在所考虑的物理量的水平和所述第二重新构建的水平之间的第二误差的准备,
选择给予所述第一误差和所述第二误差的最低误差的所述第一压缩的附加数字字或所述第二压缩的附加数字字中的一个,以及
如果所述参数小于或等于所述阈值,则其被认为是零,并且然后,所述编码的局部数字信号仅包含第一比特和所述第三比特的组,而如果所述参数大于所述阈值,则所述编码的局部数字信号包含第一比特、所选择的压缩的附加数字字、所述极性比特和所述第三比特的组。
根据一个实施例,处理装置被配置用于,对于在所述局部参考帧中的所考虑的物理量的水平的参数设置,进一步执行在所述参数上或者在所述压缩参数上添加伪随机量。
根据一个实施例,样本序列被划分成多个序列,并且所述处理装置被配置用于对属于所述序列的至少一个子序列的当前样本执行所述局部压缩。
初始数字信号是视频信号,每个样本是一个像素并且每个物理量是所述像素的颜色分量。
根据另一方面,提供了一种用于解码通过如上定义的编码设备编码的数字信号的设备,所述设备被配置用于发出解码信号,所述设备包括处理装置,所述处理装置被配置用于对于每个当前样本,从与该当前样本相关联的编码的局部数字信号执行所考虑的物理量的水平的准备,以便于发出解码的局部信号,解码信号包括所述解码的局部信号。
根据另一方面,提供了一种可直接加载到计算机系统的存储器中的计算机程序产品,包括用于当在所述计算机系统上执行所述程序时,执行如上定义的编码方法或者如上定义的解码的方法的软件代码部分。
根据另一方面,提供了一种具有可由计算机执行的指令的可由计算机系统读取的介质,用于使得计算机系统执行根如上定义的编码方法或者如上定义的解码方法。
附图说明
不以限制的方式在检查实现和实施例的具体描述和附图之后,本发明的其他的优点和特征将显而易见,在附图中,图1至图25示意性地图示了根据本发明的方法和设备的不同实现和实施例。
具体实施方式
在图1中,附图标记DIS1表示用于对图像信号进行编码的设备。设备DIS1可以被包含在视频解码器DEC中,例如符合MPEG标准的TV解码器。
设备DIS1接收包括像素PXi,j的序列BMP的初始图像信号SIM。
每个像素被指派多个数字颜色分量,这里是三个颜色分量,即亮度分量Y,色度分量Cr和另一色度分量Cb。
像素序列BMP可以是存储在视频存储器中的图像的完整帧。作为变体,图像帧的像素可以被逐个并且逐行(“光栅”格式)顺序地发出。序列的像素还可以逐宏块被发出。在该情况下,宏块被存储在视频存储器中,并且然后由设备DIS1处理。当像素以光栅格式顺序到达时,其也被存储在视频存储器中,以便于由设备DIS1顺序处理。
设备DIS1包括处理装置MT1,用于处理图像信号SIM并且对于每个颜色分量发出编码的图像信号SIC。在实践中,该编码的图像信号是压缩的图像信号。
然后,该图像信号SIC经由例如有线连接被发出到包括解码设备DIS2的屏幕控制器CTRL。信号SIC由处理装置MT2来处理,其在考虑到在例如高清晰度电视的屏幕的屏幕ECR上显示图像的情况下,重建被指派三个颜色分量Y、Cr、CB的像素的序列BMP。
处理装置MT1和MT2可以例如通过专用集成电路(ASIC)或通过处理器内的软件模块来实现,这些软件模块能够被存储在程序存储器中,例如只读存储器类型(ROM、EEPROM等)。
现在将更具体地参考图2和以下附图来给出根据本发明的由包含在MPEG解码器DEC中的编码设备DIS1的处理装置MT1实现的图像信号SIM的编码的方法的示例的更具体的描述。
一般而言,如图2中所示,编码方法2包括:对于图像信号SIM的当前样本PRi中的至少一些,并且对于指派给该当前样本的每个物理量,局部化编码20该信号,在该情况下,在局部参考帧RLC中表示所考虑的物理量的数字字进行局部化编码,局部参考帧RLC包括当前样本和两个参考样本,两个参考样本是基于所考虑的物理量的最小梯度,从例如在当前样本的邻居中的所需序列的可用样本当中选择的。
对于所考虑的样本的该物理量,然后获得编码的局部数字信号SICL。与所考虑的物理量相关联的编码的局部信号SICL集合形成与所考虑的物理量相关联的编码的图像信号SIC。
现在更具体地参考图3,图3用于图示对于所考虑的当前样本(像素)PR确定局部参考帧RLC的实现。
在该示例中,序列的NA个可用样本被选择、假定为当前样本的NA个相邻样本,NA至少等于2。然后,在步骤30中,对于具有用于像素PR的水平(幅度)APR的所考虑的物理量,梯度GPk被确定为在当前样本PR和其物理量具有水平APk的相邻样本之间的所考虑的物理量。
更精确地说,GPk等于在APR和APk之间的差。
在针对当前样本的NA个相邻样本中的每一个执行了该确定之后,在步骤31中,梯度被确定在先前计算的GPk集合当中具有最低绝对值。
然后,针对指派给当前样本的所有物理量重复这些操作,并且在步骤32中,梯度被确定为在针对所有相邻样本和所有物理量确定的梯度集合当中具有最低绝对值。
然后,对其指派该最小梯度的相邻样本被指定为第一参考样本A(步骤33)。
然后,确定第二参考样本B,在该情况下,其是与样本A和当前样本PR形成直角的其余相邻样本。
参考样本PR以及两个参考样本A和B一起形成与当前样本PR相关联的局部参考帧RLC。
现在将更具体地参考图4至图8来图示局部参考帧的可能的示例。
在图4中,假设像素以“光栅”的格式顺序地到达。
还假设在图4中,具有坐标xi和yj的当前像素(样本)PR被处理,并且先前像素ECH2、ECH3、ECH4和ECH5已经通过编码方法进行了处理。
另一方面,其他像素,即属于行j的具有坐标xi+1,yj的像素和属于行j+1的像素还没有被处理。
因此,在像素PR的相邻样本当中将确定,第一参考样本A和第二参考样本B是像素ECH2、ECH3、ECH4和ECH5。
在该示例中,该确定的局部参考帧RLC将是与当前样本PR相关联的唯一局部参考帧,并且对于当前样本的所有物理量的编码是有效的,即这里是所有的颜色分量。
因此,在图5中,第一参考样本A是样本ECH2,并且第二参考样本B是样本ECH4。
在图6中图示了另一可能配置,其中,第一参考样本A此时是样本ECH4,而第二参考样本B此时是样本ECH2。
如图7所示,还能够具有用于局部参考帧RLC另一结构。在该结构中,第一参考样本A是样本ECH3,并且第二参考样本B是样本ECH5。
在图8所示的结构中,第一参考样本A是样本ECH5,并且第二参考样本B是样本ECH3。
因此,可以看出,能够定义用于设置局部参考帧的结构的参数的第一比特组。
在这里描述的以及如图9所示的示例中,第一比特组STRC包括用于设置第一参考样本A的四个可能的位置以及因此局部参考帧RLC的四个可能的结构的参数的两个比特。
因此,在这里描述的示例中,如果第一参考样本A是样本ECH2,则两个比特STRC分别等于00。
如果参考样本A是样本ECH3,则两个比特STRC分别等于01。
如果第一参考样本A是样本ECH4,则两个比特STRC等于1和0,而如果第一样本A位于样本ECH5的水平处,则两个比特STRC等于1和1。
如图10所示,局部参考帧的其他结构是可能的,没有必要提供将当前样本分别连接到两个参考样本的两行之间的直角。然而,尽管第一参考样本A总是保持与具有最低绝对值梯度相关联的一个,但是第二参考样本B是与当前样本和第一参考样本形成直角的样本,或者与所计算的所有梯度中的最大绝对值相关联的当前样本的相邻样本。
此外,例如,当没有以“光栅”格式处理图像时,但是例如逐宏块地处理图像时,还可以使用这样的局部参考帧。
在刚刚描述的示例中,用于确定参考样本A和B的候选样本是当前样本PR的相邻样本。
然而,其他可用候选样本是可能的,并且可以是远离当前样本PR。
这是在图11和图12中所示的示例的情况。
在图11中,除了样本ECH2-ECH5,还可以考虑样本ECH6,以用于确定参考样本A和B。
在图12中,除了在样本ECH2-ECH5,还可以考虑样本ECH0、ECH1和ECH6,以用于确定参考样本A和B
当然,根据考虑的样本数以及因此可能结构的数目,第一比特组STRC可以包括多于2个比特。
在已经执行局部参考帧的参数设置之后,处理装置MT1被配置用于设置在该局部参考帧中的所考虑的物理量的水平APR的参数。
可能的第一变体如图13中明显示出。
在步骤110中,处理装置MT1检查物理量APR的水平是否位于与第一参考样本A相关联的物理量的水平APA之间以及指派给第二参考样本B的物理量的水平APB之间、或APB和APA之间。
如果是这种情况,则这是内插的问题,并且该处理装置将例如逻辑0指派给极性比特POL。
否则,这是外推的问题,就是说,水平APR大于或等于本身大于或等于水平APB的水平APA。在该情况下,处理装置将值1赋予极性比特POL。
应当注意,在外推的情况下,如果水平APR大于水平APA和APB,则水平APB可能不大于水平APA,因为第一参考样本A是存在最小梯度的一个。
类似地,在水平APR低于两个水平APA和APB的情况下,水平APA出于相同的原因可能不高于水平APB(第一参考样本A的最小梯度)。
用于确定这是内插还是外推的问题的一种特别简单的方法在于,确定等于APR-APA的梯度GPA的符号乘以等于APR-APB的梯度GPB的符号的乘积。
如果乘积的符号为正,则极性比特POL被设置为1(外推),而如果乘积符号为负,则极性比特POL被设置为零(内插)。
如图14所示,在这是外推的情形的情况下,通过将幅度APB转换成等于APR+GPB的幅度来使其下降称为内插的情形,这是解压缩级的可逆操作,即在水平APR的重建期间,考虑极性比特POL,如以下将更具体说明的。
在步骤111中,处理装置MT1确定等于GPA的绝对值(GPA=APR-APA)的值GPA'和等于GPB(GPB=APR-APB)的绝对值的值GPB'。
然后,处理装置MT1从GPA'和GPB'确定在该示例中实现归一化梯度的参数。
该归一化梯度GPAN等于GPA'/(GPA'+GPB')。
此外,因为已经执行了在值0和1之间延伸的归一化,所以归一化梯度GPAN还等于1-(GPB'/(GPA'+GPB')),在误差范围内。
然后,在步骤113中,处理装置执行归一化梯度GPAN的压缩编码,以便于获得第二比特的组的压缩归一化的梯度GPANC。作为指导,如果归一化梯度GPAN在10个比特上进行编码,则可以提供在5个比特上编码压缩的归一化梯度GPANC。
压缩以常规方式执行,并且其本身借助于压缩曲线是已知的。
如果现在更具体地参考图15,则可以看出,处理装置MT1在步骤130中将归一化梯度GPAN与阈值TH1作比较。
然后,处理装置MT1准备第三比特ZMAP,其值表示该比较的结果。
因此,如果归一化梯度小于或等于阈值TH1,则ZMAP等于1,而如果归一化梯度GPAN大于阈值TH1,则ZMAP=0。
阈值TH1的值取决于针对图像重建的应用和期望精度。
作为指导,阈值TH1可以被选择为等于0.1。
如果归一化梯度GPAN小于或等于阈值TH1,则处理装置MT1认为该归一化梯度GPAN是零(步骤131)。
在该情况下,表示指派给样本的所考虑的物理量的编码的局部信号STCL包括数字块BSTR,其仅包括表示局部参考帧的结构的第一比特STRC和第三比特ZMAP。
另一方面,如果在步骤132中,第三比特ZMAP已经被设置为等于零,则与所考虑的物理量的水平相关的编码的局部信号SICL包括作为数字块BSTR的第三比特ZMAP、表示压缩的归一化梯度GPANC的第二比特组、极性比特POL和表示局部参考帧的结构的第一比特STRC。
当然,数字块BSTR中的这些不同比特的顺序完全是任意的,并且可以是不同的。
为了控制量化误差,反馈策略可以有利地被实现为图16所示。
更精确地说,处理装置MT1在步骤140中从压缩的归一化梯度GPANC准备压缩的归一化梯度GPANC周围的第一压缩的附加数字字GPANC1和第二压缩的附加数字字GPANC2。
一般而言,应当在非常广泛的意义上考虑术语“周围”。因此,字GPANC1和GPANC2可以不同于GPANC。然而,在实践中,两个字GPANC1或GPANC2中的一个可以被认为等于字GPANC。而且,在该情况下,第一字GPANC1例如将被选择为等于压缩的归一化梯度GPANC,而附加数字字GPANC2将例如略高于压缩归一化梯度GPANC,例如通过使压缩的归一化梯度GPAC的最小有效比特(LSB)增加1。
然后,处理装置MT1使用与用于压缩相同的曲线来执行第一附加数字字GPANC1的解压缩解码141。
然后,获得第一解压缩的附加数字字GPAND1。
然后,处理装置MT1从字GPAND1以及水平APB和APA重建所考虑的物理量的水平APRE1。
更确切地说,APRE1等于GPAND1(APB-APA)+APA。
然后,处理装置在步骤144中确定等于在APR和APRE1之间的差的绝对值的第一误差ERR1。
以相同的方式,处理装置MT1执行第二附加数字字GPANC2的解压缩缩解码,以便于获得解压缩的字GPAND2,然后在步骤145中以类似于在步骤142中进行的方式来从字GPAND2以及水平APB和APA重建所考虑的物理量的水平APRE2。
然后,处理装置在步骤147中确定等于在APR和APRE2之间的差的绝对值的第二误差ERR2。
然后,处理装置MT1在步骤148中确定最低误差,并且相应地选择该压缩的附加数字字GPANCS作为与最低误差相关联的两个字GPANC1或GPANC2中的一个。
而且,如图17所示,在第三比特ZMAP等于零的情况下,编码的局部信号SICL包括此时数字块BSTR,包括代替压缩的归一化梯度GPANC的所选择的压缩数字字GPANCS。
在另一个变体中,作为参数能够直接使用GPA'而不是归一化梯度GPAN,即APR和APA之间的差的绝对值,即第一梯度GPA的绝对值。
这在图18中示出。
在该变型中,极性比特POL是(APR-APA)的符号,即其指示APR小于APA还是大于APA。
如果APR大于APA,则POL=0,而如果APR小于APA,则POL=1。
此时(步骤160),将GPA'与阈值TH2作比较,其可以例如等于0.05,假设APR在0和1之间变化。
如果GPA'小于或等于TH2,则GPA被视为零并且ZMAP=1(步骤161)。
然后,信号SICL包含数字块BSTR,其仅包括比特ZMAP和STRC。
如果GPA'大于阈值TH2,则ZMAP=0(步骤162),并且以与针对GPAN描述的类似的方式执行GPA'的压缩编码,以便于获得第一压缩梯度GPAC(步骤163)。
然后,信号SICL包含数字块BSTR,其包括ZMAP、GPAC、POL和STRC。
反馈策略还可以与在图16中描述的类比来实现。
这在图18中描述。
在该图中,压缩参数是GPAC而不是GPANC。
步骤170至179类似于图14中的步骤140至149。
因此,在最后的步骤179中,字GPACS被选择为两个字GPAC1和GPAC2中与最低误差相关联的一个。
在步骤172和175中,用于水平APREi的重建的公式不同于步骤142和145中应用的那些。
更确切地说:
如果POL=0,则APREi=APA+GPADi,并且
如果POL=1,则APREi=APA-GPADi。
然后,如图20所示,如果GPA'小于或等于所述阈值TH2(步骤180),则GPA'以及因此GPA被认为是等于0,并且ZMAP=1(步骤181),并且数字块BSTR仅包含ZMAP和STRC。
如果GPA'大于阈值TH2,则ZMAP=0(步骤182),并且BSTR包含ZMAP、GPACS、POL和STRC。
为了随机地离散量化误差,如图21中所示,这特别有利于将伪随机量RAND(步骤190)添加到归一化梯度GPAN或压缩的归一化梯度GPAC或GPA'或GPAC。
在接收时,如图22所示,处理装置MT2将针对每个当前样本并且针对指派给该当前样本的每个物理量,从在步骤200中接收的数字块BSTR准备所考虑的物理量的水平,以便于发出解码的局部信号SIDL,即发出所考虑的物理量的水平。
解码的局部信号集合SIDL形成解码的信号SID。
该准备将考虑接收到的数字块BSTR的内容,以及明显地比特ZMAP和STRC以及可选地比特POL和GPAC或POL和GPANC的值。
这里假定可选地使用的参数是归一化梯度GPAN。
如果比特ZMAP等于1,则这意味着其是GPAN为零的情况,并且因此,指派给当前样本PR的物理量的值然后简单地等于指派给参考样本A的该物理量的值APA。
该样本A先前已经被处理。
因此,值APA是已知的。
此外,比特STRC可以用于确定局部参考帧的配置以及因此像素矩阵中的该样本A的坐标。
在比特ZMAP等于零的情况下,存在要考虑的多个情况。
在极性比特POL为1的情况下,即在应用外推配置的情况下,从以下公式重新计算所考虑的物理量的水平APR:
APR=APA+(APB-APA)GPAN/(2GPAN-1)(1)
在该公式中,GPAN已经通过GPANC的(或GPANCS的)解压缩解码来获得。
应当注意,公式(1)对于外推的两种情况是有效的,即在APB比小于或等于APA,APA本身小于或等于APR的情况下,以及在APB大于或等于APA,APA本身大于或等于APR的的情况下。
在极性比特POL为零的情况下,即在内插的情况下,分别根据APA小于或大于APB,从以下公式(2)或从公式(3)来重新计算所考虑的物理量的水平APR:
APR=APA-APA.GPAN+APB.GPAN (2)
APR=APB+APA.GPAN-APB.GPAN (3)。
更精确地说,如果APA是小于或等于APR,APR本身小于或等于APB,则公式(2)适用。
如果APB小于或等于APR,APR本身小于或等于APA,则公式(3)适用。
而且,APA小于或大于APB的条件是通过处理装置MT2本身来确定的,因为这些水平已经被称为其被指派给已经处理的样本。
在编码期间所使用的参数是第一梯度GPA的绝对值GPA'(GPA'=|GPA|=|APR-APA|),并且比特POL表示APR-APA的符号((POL)=sign(APR-APA))的情况下,则在ZMAP=0的情况下,指派给当前样本PR的物理量的水平APR通过下式重建:
APR=APA+GPAC,如果POL=0
APR=APA-GPAC,如果POL=1
GPAC是在数字块BSTR中接收到的压缩参数。当然,在误差反馈GPAC用GPACS来替代的情况下。
当然,如果ZMAP=1,则如在前述变型中,APR=APA。
本发明不限定于刚刚已经描述的但是包括其所有变型的实现和实施例。
因此,如图23中所示,特别有利的是使由预增强预处理之前的编码2例如以传统方式通过校正γ(x)来执行,或者借助于感知量化曲线或者S曲线或者借助于表(“查找表”)来执行。
在该情况下,解码3之后是,使用在处理180中使用的函数的反函数来去增强后处理211。
在一些情况下,样本的序列,例如像素的序列,可以被分解成子序列。
这是例如图24中所示的情况下,其中,像素以YCB 420格式被编码。
更精确地说,(像素的)子序列(A)包括被指派YCbCr分量的像素。
子序列(B)包括被指派Y分量的像素,并且子序列(C)包括由子序列(B)的像素包围并且还对其指派Y分量的像素。
在该情况下,处理装置MT1可以连续或并行地(图25)应用编码处理2,该处理刚刚分别对子序列(A)、(B)和(C)进行了描述,以便于发出编码信号SICA、SICB和SICC。当然,在该情况下,对于子序列(A),例如,将从该当前像素(A)附近的像素(A)当中选择当前像素(A)的相邻像素。
这同样适用于通过到像素(B)和(C)的类推。
此外,在一些情况下,一些样本可以没有经历刚刚描述的编码处理。
更精确地说,对于经由编码设备和解码设备已知的一些预定义的样本位置,对于所考虑的每个物理量,可能能够在不必传送第三比特ZMAP的情况下,直接传送其水平APR。这是例如用于帧或宏块的第一行和第一列的每个像素的情况,或者甚至用于螺旋验证的帧或宏块的第一像素的情况。
此外,在明显需要较高精度的一些应用中,在已经确定了用于当前样本的第三比特ZMAP之后,无法计算压缩的归一化梯度GPANC或第一梯度GPA的绝对值GPA',并且直接传送所考虑的物理量的水平APR。
在该情况下,如果比特ZMAP等于零,则数字块BSTR包括比特ZMAP之后是水平APR,而如果比特ZMAP等于1,则数字块BSTR包括该比特ZMAP之后是第一比特STRC。

Claims (48)

1.一种在编码信号(SIC)中对初始数字信号(SIM)进行编码的方法,所述初始数字信号(SIM)包括表示多维度空间的样本序列,每个样本被指派至少一个物理量,所述方法包括:对于当前样本中的至少一些,在编码的局部数字信号(SICL)中的信号的局部化编码(20),这些编码在局部参考帧(RLC)中执行,每一个局部参考帧(RLC)包括所考虑的当前样本和两个参考样本,所述两个参考样本是基于所述至少一个物理量的最小梯度从所述序列的可用样本当中选择的,所述编码信号(SIC)包括所述编码的局部数字信号(SICL)。
2.根据权利要求1所述的方法,其中,每个局部化编码(2)包括:对于指派给所考虑的当前样本的每个物理量,所述局部参考帧(RLC)以及在所述局部参考帧中所考虑的所述物理量的水平(APR)的数字参数设置,以便于获得与所述当前样本(PR)和所考虑的物理量相关联的局部编码信号。
3.根据权利要求1或2所述的方法,其中,每个局部化编码包括:对于指派给所考虑的所述当前样本的每个物理量,确定由所述当前样本(PR)和所述两个参考样本(A,B)形成的局部参考帧,所述两个参考样本(A,B)是至少从在所述序列的至少两个可用样本和所述当前样本之间的所考虑的所述物理量的梯度(GPk)当中的具有最低绝对值的梯度的确定来选择的,所述序列的至少两个可用样本是例如所述当前样本的两个相邻样本。
4.根据权利要求3所述的方法,其中,所述局部参考帧的第一参考样本(A)是至少从所考虑的所述物理量的梯度当中的具有最低绝对值的梯度的确定来选择的,并且所述第二参考样本(B)是
与所述第一参考样本和所述当前样本形成直角的其余可用样本,或
至少从所考虑的所述物理量的梯度当中具有最大绝对值的梯度的确定来选择的其余可用样本。
5.根据前述权利要求中的任何一项所述的方法,其中,每个样本被指派多个物理量(Y,Cb,Cr),并且对于每个当前样本,所述局部参考帧(RLC)的确定包括对于指派给所述当前样本的所有物理量有效的唯一局部参考帧的确定。
6.根据权利要求4和5所述的方法,其中,所述局部参考帧的确定包括:对于每个当前样本属于至少3个样本的组,所述至少3个样本的组包括所述序列的至少两个可用样本和所述当前样本,所述序列的至少两个可用样本是,例如所述当前样本的两个相邻样本,
确定的第一步骤包括:对于每个物理量,确定(30)在所述当前样本和每个可用样本之间的所述物理量的梯度,
选择所述第一参考样本的步骤包括:从所述可用样本当中选择(31,32)在针对所有所述物理量计算的所有梯度当中其关联梯度具有最低绝对值的可用样本,
确定(34)所述第二参考样本的第二步骤包括:从其余可用样本当中确定与所述第一参考样本和所述当前样本形成直角或者对应于在针对所有所述物理量计算的所有梯度当中其关联梯度具有最大绝对值的可用样本的可用样本。
7.根据权利要求6所述的方法,其中,对于每个当前样本,所述组包括所述当前样本(PR)和四个相邻样本(ECH2,ECH3,ECH4,ECH5),所述四个相邻样本(ECH2,ECH3,ECH4,ECH5)已经引起与这些相邻样本相关联的编码的局部数字信号的建立,并且所述第二参考样本是与所述第一参考样本和所述当前样本形成直角的样本。
8.根据权利要求2至7中的一项所述的方法,其中,所述局部参考帧的所述参数设置包括第一比特(STRC)的组的准备,所述第一比特(STRC)的组的值定义可能的结构集合当中的局部参考帧的结构。
9.根据权利要求2至8中的一项所述的方法,其中,在所述局部参考帧中考虑的所述物理量的水平的参数设置包括确定极性比特(POL),所述极性比特(POL)的值至少指示指派给所述当前样本的所考虑的所述物理量的水平相对于指派给所述第一参考样本的所述物理量的水平(APA)的定位。
10.根据权利要求2至9中的一项所述的方法,其中,在所述局部参考帧中考虑的所述物理量的水平的参数设置包括:涉及在所述当前样本和所述第一参考样本之间的所述物理量的被称为第一梯度的梯度的绝对值(GPA)的参数(GPA,GPAN)的准备,所述参数与阈值(TH1,TH2)的比较,以及表示所述比较的结果的第三比特(ZMAP)的准备。
11.根据权利要求10所述的方法,其中,如果所述参数(GPA',GPAN)小于或等于所述阈值,其被认为是零。
12.根据权利要求10或11所述的方法,其中,在所述局部参考帧中考虑的所述物理量的水平的参数设置进一步包括对所述参数的第二比特组的压缩编码,以便于获得压缩的参数(GPANC,GPAC)。
13.根据权利要求10至12中的一项所述的方法,其中,所述极性比特(POL)指示指派给所述当前样本的所考虑的所述物理量的水平(APR)是否位于指派给所述第一参数样本的所述物理量的水平(APA)和指派给所述第二参考样本的所述物理量的水平(APB)之间,并且在所述局部参考帧中的所考虑的所述物理量的水平的参数设置包括:
确定在所述当前样本和所述第二参考样本之间的所述物理量的称为第二梯度的梯度(GPB)的绝对值(GPB'),
从所述第一梯度和所述第二梯度的绝对值确定归一化的梯度(GPAN),所述归一化的梯度(GPAN)形成所述参数。
14.根据权利要求10至12中的一项所述的方法,其中,所述极性比特(POL)指示指派给所述当前样本的所考虑的所述物理量的水平(APR)小于还是大于指派给所述第一参考样本的所述物理量的水平(APA),并且所述第一梯度(GPA)的绝对值(GPA')形成所述参数。
15.根据权利要求10至14中的一项所述的方法,其中,与指派给所述当前样本的所考虑的所述物理量相关联的编码的局部数字信号(SICL)包括至少第三比特(ZMAP)。
16.根据权利要求15所述的方法,其中,与指派给所述当前样本的所考虑的所述物理量相关联的编码的局部数字信号(SICL)包括所述第一比特(STRC)以及可选地压缩的参数(GPANC,GPAC)和所述极性比特(POL)的组。
17.根据权利要求16所述的方法,其中,如果所述参数小于或等于所述阈值,则所述编码的局部数字信号仅包含所述第一比特(STRC)和所述第三比特(ZMAP)的组,并且如果所述参数大于所述阈值,则所述编码的局部数字信号包含所述第一比特(STRC)、所述压缩的参数(GPANC,GPAC)、所述极性比特(POL)和所述第三比特(ZMAP)的组。
18.根据结合权利要求12至14中的一项的权利要求16所述的方法,其中,在所述局部参考帧中的所考虑的所述物理量的水平的参数设置进一步包括:
从所述压缩的参数周围的第一压缩的附加数字字和第二压缩的附加数字字的压缩参数进行准备(140,170),
所述第一压缩的附加数字字的解压缩解码(141,171),
从所述第一解码的附加数字字重新构建(142,172)所述物理量的水平,以便于获得所述物理量的第一重新构建的水平,
在所考虑的物理量的水平和所述第一重新构建的水平之间的第一误差(ERR1)的准备(144),
所述第二压缩的数字字的解压缩解码(143,173),
从所述第二解码的附加数字字重新构建(145,175)所述物理量的水平,以便于获得所述物理量的第二重新构建的水平,
在所考虑的物理量的水平和所述第二重新构建的水平之间的第二误差(ERR2)的准备(147),
给予所述第一误差和所述第二误差的最低误差的所述第一压缩的附加数字字或所述第二压缩的附加数字字中的一个的选择(149,179),以及
如果所述参数小于或等于所述阈值(TH1,TH2),则其被认为是零,并且然后,所述编码的局部数字信号仅包含第一比特(STRC)和所述第三比特(ZMAP),而如果所述参数大于所述阈值,则所述编码的局部数字信号包含第一比特(STRC)、所选择的压缩的附加数字字(GPANCS,GPACS)、所述极性比特(POL)和所述第三比特(ZMAP)的组。
19.根据权利要求10至18中的一项所述的方法,其中,在所述局部参考帧中的所考虑的所述物理量的水平的参数设置进一步包括:在所述参数上或者在所述压缩参数上添加(190)伪随机量(RAND)。
20.根据前述权利要求中的一项所述的方法,其中,所述样本序列被划分成若干序列(A)、(B)、(C),对其执行所述局部化编码的所述当前样本属于所述序列中的至少一个子序列。
21.根据前述权利要求中的一项所述的方法,其中,所述初始数字信号是视频信号(SIM),每个样本是一个像素并且每个物理量是所述像素的颜色分量(Y,Cb,Cr)。
22.根据前述权利要求中的一项所述的方法,其中,所述初始信号从对基础信号执行的预处理(210)得到,所述预处理包括预增强处理。
23.一种对解码信号中的数字信号进行解码的方法,所述数字信号已经通过根据前述权利要求中的一项所述的方法来被编码,包括:对于每个当前样本并且对于每个物理量,从与所述当前样本相关联的编码的局部数字信号准备(201)所考虑的物理量的水平,以便于发出解码的局部信号(SIDL),解码信号包括所述解码的局部信号(SID)。
24.根据权利要求23所述的方法,进一步包括:通过根据权利要求22所述的方法对初始信号进行编码,在所解码信号上执行后处理,所述后处理(211)包括去增强处理。
25.一种在编码信号中对初始数字信号进行编码的设备,所述初始数字信号包括表示多维度空间的样本序列,每个样本被指派至少一个物理量,所述设备包括:处理装置(MT1),被配置用于对于所述当前样本中的至少一些,执行在局部参考帧中的编码的局部数字信号中的信号的局部化编码,所述局部参考帧每一个包括所考虑的所述当前样本和两个参考样本,所述两个参考样本是基于所述至少一个物理量的最小梯度从所述序列的可用样本当中选择的,所述编码信号包括所述编码的局部数字信号。
26.根据权利要求25所述的设备,其中,所述处理装置(MT1)被配置用于:对于指派给所考虑的所述当前样本的每个物理量,所述局部参考帧和在所述局部参考帧中所考虑的所述物理量的水平的数字参数设置,以便于获得与所述所考虑的当前样本和所考虑的物理量相关联的编码的局部数字信号。
27.根据权利要求25或26所述的设备,其中,所述处理装置(MT1)被配置用于,对于指派给所考虑的所述当前样本的每个物理量,执行由所述当前样本和两个参考样本形成的所述局部参考帧的确定,所述两个参考样本是至少从在所述序列的至少两个可用样本和所述当前样本之间的所考虑的所述物理量的梯度当中的具有最低绝对值的梯度的确定来选择的,所述序列的至少两个可用样本是例如所述当前样本的两个相邻样本。
28.根据权利要求27所述的设备,其中,所述处理装置(MT1)被配置用于至少从所考虑的所述物理量的梯度当中的具有最低绝对值的梯度的确定来选择所述局部参考帧的第一参考样本,并且所述第二参考样本是
与所述第一参考样本和所述当前样本形成直角的其余可用样本,或
至少从所考虑的所述物理量的梯度当中具有最大绝对值的梯度的所述确定来选择的其余可用样本。
29.根据权利要求25至28中的一项所述的设备,其中,每个样本被指派多个物理量,并且对于每个当前样本,所述处理装置被配置用于确定对于指派给所述当前样本的所有物理量有效的唯一局部参考帧。
30.根据权利要求28和29所述的设备,其中,所述处理装置(MT1)被配置用于,对于属于包括所述当前样本和至少两个可用样本的至少3个样本的组的每个当前样本,执行所述局部参考帧的确定,包括:
确定的第一步骤包括:对于每个物理量,确定在所述当前样本和每个可用样本之间的所述物理量的梯度,
选择所述第一参考样本的步骤包括:从所述可用样本当中选择在针对所有所述物理量计算的所有梯度当中其关联梯度具有最低绝对值的可用样本,
确定所述第二参考样本的第二步骤包括:从所述其余可用样本当中确定与所述第一参考样本和所述当前样本形成直角或者对应于在针对所有所述物理量计算的所有梯度当中其关联梯度具有最大绝对值的可用样本的可用样本。
31.根据权利要求30所述的设备,其中,对于每个当前样本,所述组包括所述当前样本和四个相邻样本,所述四个相邻样本已经引起与这些相邻样本相关联的数字块的建立,并且所述第二参考样本(B)是与所述第一参考样本(A)和所述当前样本(PR)形成直角的样本。
32.根据权利要求26至31中的一项所述的设备,其中,所述处理装置(MT1)被配置用于,对于所述局部参考帧的参数设置执行第一比特的组的准备,所述第一比特的组的值定义可能的结构集合当中的局部参考帧的结构。
33.根据权利要求26至32中的一项所述的设备,其中,所述处理装置(MT1)被配置用于对于在所述局部参考帧中所考虑的所述物理量的水平的参数设置,执行极性比特(POL)的确定,所述极性比特(POL)的值至少指示指派给所述当前样本的所考虑的所述物理量的水平相对于指派给所述第一参考样本的所述物理量的水平(APA)的定位。
34.根据权利要求26至33中的一项所述的设备,其中,所述处理装置(MT1)被配置用于,对于在所述局部参考帧中所考虑的所述物理量的水平的参数设置执行涉及在所述当前样本和所述第一参考样本之间的所述物理量的被称为第一梯度的梯度的绝对值的参数的准备,将所述参数与阈值作比较,以及表示所述比较的结果的第三比特的准备。
35.根据权利要求34所述的设备,其中,如果所述参数小于或等于所述阈值,其被认为是零。
36.根据权利要求34或35所述的设备,其中,所述处理装置(MT1)被配置用于,对于在所述局部参考帧中考虑的所述物理量的水平的参数设置,对所述参数的第二比特组执行压缩编码,以便于获得压缩的参数。
37.根据权利要求34至36中的一项所述的设备,其中,所述极性比特(POL)指示指派给所述当前样本的所考虑的所述物理量的水平(APR)是否位于或不位于指派给所述第一参数样本的所述物理量的水平(APA)和指派给所述第二参考样本的所述物理量的水平(APB)之间,并且所述处理装置(MT1)被配置用于,对于在所述局部参考帧中的所考虑的所述物理量的水平的参数设置,进一步执行:
在所述当前样本和所述第二参考样本之间的所述物理量的称为第二梯度的梯度的绝对值的确定,
从所述第一梯度和所述第二梯度的绝对值确定归一化的梯度,所述归一化的梯度形成所述参数。
38.根据权利要求34至36中的一项所述的设备,其中,所述极性比特(POL)指示指派给所述当前样本的所考虑的所述物理量的水平(APR)小于还是大于指派给所述第一参考样本的所述物理量的水平(APA),并且所述第一梯度的绝对值形成所述参数。
39.根据权利要求34至38中的一项所述的设备,其中,与指派给所述当前样本的所考虑的所述物理量相关联的编码的局部数字信号(SICL)包括至少第三比特。
40.根据权利要求39所述的设备,其中,与指派给所述当前样本的所考虑的所述物理量相关联的编码的局部数字信号(SICL)包括第一比特以及可选地压缩的参数和所述极性比特的组。
41.根据权利要求40所述的设备,其中,如果所述参数小于或等于所述阈值,则所述编码的局部数字信号仅包含所述第一比特和所述第三比特的组,并且如果所述参数大于所述阈值,则所述编码的局部数字信号包含第一比特、所述压缩的参数、所述极性比特和所述第三比特的组。
42.根据结合权利要求36至38中的一项的权利要求40所述的设备,其中,所述处理装置(MT1)被配置用于,对于在所述局部参考帧中的所考虑的所述物理量的水平的参数设置,进一步执行:
从所述压缩的参数周围的第一压缩的附加数字字和第二压缩的附加数字字的压缩参数进行准备,
所述第一压缩的附加数字字的解压缩解码,
从所述第一解码的附加数字字重新构建所述物理量的水平,以便于获得所述物理量的第一重新构建的水平,
在所考虑的物理量的水平和所述第一重新构建的水平之间的第一误差的准备,
所述第二压缩的数字字的解压缩解码,
从所述第二解码的附加数字字重新构建所述物理量的水平,以便于获得所述物理量的第二重新构建的水平,
在所考虑的物理量的水平和所述第二重新构建的水平之间的第二误差的准备,
给予所述第一误差和所述第二误差的最低误差的所述第一压缩的附加数字字或所述第二压缩的附加数字字中的一个的选择,以及
如果所述参数小于或等于所述阈值,则其被认为是零,并且然后,所述编码的局部数字信号仅包含第一比特和所述第三比特的组,而如果所述参数大于所述阈值,则所述编码的局部数字信号包含第一比特、所选择的压缩的附加数字字、所述极性比特(POL)和所述第三比特的组。
43.根据权利要求34至42中的一项所述的设备,其中,所述处理装置被配置用于,对于在所述局部参考帧中的所考虑的所述物理量的水平的参数设置,进一步执行在所述参数上或者在所述压缩参数上添加伪随机量。
44.根据权利要求25至43中的一项所述的设备,其中,所述样本序列被划分成多个序列,并且所述处理装置被配置用于对属于所述序列的至少一个子序列的当前样本执行所述局部压缩。
45.根据权利要求25至44中的一项所述的设备,其中,所述初始数字信号是视频信号,每个样本是一个像素并且每个物理量是所述像素的颜色分量。
46.一种用于解码通过根据权利要求25至45中的一项所述的编码设备编码的数字信号的设备,所述设备被配置用于发出解码信号,所述设备包括处理装置(MT1),所述处理装置(MT1)被配置用于对于每个当前样本,从与所述当前样本相关联的编码的局部数字信号执行所考虑的所述物理量的水平的准备,以便于发出解码的局部信号,所解码信号包括所述解码的局部信号。
47.一种可直接加载到计算机系统的存储器中的计算机程序产品,包括用于当在所述计算机系统上执行所述程序时,执行根据权利要求1至22中的一项所述的编码方法或者根据权利要求23或24所述的解码的方法的软件代码部分。
48.一种可由计算机系统读取的介质,具有可由计算机执行的指令用于使得计算机系统执行根据权利要求1至22中的一项所述的编码方法或者根据权利要求23或24所述的解码方法。
CN201610787282.3A 2016-02-02 2016-08-30 将初始数字信号编码为编码信号的方法、设备及介质 Active CN107027035B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1650814A FR3047381A1 (fr) 2016-02-02 2016-02-02 Procede et dispositif d'encodage d'un signal numerique multidimensionnel, en particulier un signal d'image, et procede et dispositif correspondants de decodage
FR1650814 2016-02-02

Publications (2)

Publication Number Publication Date
CN107027035A true CN107027035A (zh) 2017-08-08
CN107027035B CN107027035B (zh) 2020-06-16

Family

ID=56117841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610787282.3A Active CN107027035B (zh) 2016-02-02 2016-08-30 将初始数字信号编码为编码信号的方法、设备及介质

Country Status (4)

Country Link
US (1) US10390019B2 (zh)
EP (1) EP3203737A1 (zh)
CN (1) CN107027035B (zh)
FR (1) FR3047381A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3062011B1 (fr) 2017-01-17 2020-01-10 Stmicroelectronics (Grenoble 2) Sas Procede et dispositif d'encodage dynamique controle d'un signal numerique multidimensionnel, en particulier un signal d'image et procede et dispositif correspondant de decodage

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1135148A (zh) * 1995-04-29 1996-11-06 大宇电子株式会社 利用基于特征点的运动估算编码视频信号的方法
US6654503B1 (en) * 2000-04-28 2003-11-25 Sun Microsystems, Inc. Block-based, adaptive, lossless image coder
FR2906093A1 (fr) * 2006-09-18 2008-03-21 Canon Kk Procedes et dispositifs de codage et de decodage, systeme de telecommunication et programme d'ordinateur les mettant en oeuvre
US7751633B1 (en) * 2006-08-31 2010-07-06 Hewlett-Packard Development Company, L.P. Method for compressing an image
CN101860753A (zh) * 2010-04-30 2010-10-13 北京航空航天大学 一种基于分形的视频压缩与解压缩方法
US8594194B2 (en) * 2009-10-15 2013-11-26 Sony Corporation Compression method using adaptive field data selection
CN103686171A (zh) * 2013-12-19 2014-03-26 中山大学深圳研究院 一种自适应滤波分离的视频解码装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3001600B1 (fr) 2013-01-29 2016-05-06 Stmicroelectronics (Grenoble 2) Sas Procede et dispositif de compression d'un signal d'image et procede et dispositif correspondant de decompression

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1135148A (zh) * 1995-04-29 1996-11-06 大宇电子株式会社 利用基于特征点的运动估算编码视频信号的方法
US6654503B1 (en) * 2000-04-28 2003-11-25 Sun Microsystems, Inc. Block-based, adaptive, lossless image coder
US7751633B1 (en) * 2006-08-31 2010-07-06 Hewlett-Packard Development Company, L.P. Method for compressing an image
FR2906093A1 (fr) * 2006-09-18 2008-03-21 Canon Kk Procedes et dispositifs de codage et de decodage, systeme de telecommunication et programme d'ordinateur les mettant en oeuvre
US8594194B2 (en) * 2009-10-15 2013-11-26 Sony Corporation Compression method using adaptive field data selection
CN101860753A (zh) * 2010-04-30 2010-10-13 北京航空航天大学 一种基于分形的视频压缩与解压缩方法
CN103686171A (zh) * 2013-12-19 2014-03-26 中山大学深圳研究院 一种自适应滤波分离的视频解码装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
VIRGINIE DRUGEON: "TE12.3: results for edge based prediction", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)》 *

Also Published As

Publication number Publication date
EP3203737A1 (fr) 2017-08-09
FR3047381A1 (fr) 2017-08-04
US20170223358A1 (en) 2017-08-03
US10390019B2 (en) 2019-08-20
CN107027035B (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
JP4085116B2 (ja) ブロック単位での画像データの圧縮及び圧縮解除
US11553187B2 (en) Frequency component selection for image compression
US10672148B2 (en) Compressing and uncompressing method for high bit-depth medical gray scale images
TWI788200B (zh) 影像壓縮方法與設備
JP2017184250A (ja) 係数圧縮を用いて復号するための装置及び方法
US7190840B2 (en) Transform coefficient compression using multiple scans
US10750188B2 (en) Method and device for dynamically monitoring the encoding of a digital multidimensional signal
US10887616B2 (en) Image processing devices having enhanced frame buffer compressors therein
US11677932B2 (en) Image processing device
WO2011028735A2 (en) Vector embedded graphics coding
JP2003188733A (ja) 符号化方法及び装置
JP3462867B2 (ja) 画像圧縮方法および装置、画像圧縮プログラムならびに画像処理装置
CN107027035A (zh) 编码多维数字信号的方法和设备及解码的相应方法和设备
US20200374523A1 (en) Differential prefix coding for high throughput entropy coder in display compression
US20180352243A1 (en) Techniques for compressing multiple-channel images
KR20200006908A (ko) 변환 모드용 엔트로피 부호화 그룹의 분류 방법 및 시스템
US20090304073A1 (en) Systems and Methods for the Bandwidth Efficient Processing of Data
KR20030029611A (ko) 블록 코딩된 비디오 신호의 코드 아티팩트 감소 방법
KR20100013142A (ko) 프레임 메모리 압축방법
TWI795480B (zh) 用於執行資料解壓縮的影像處理裝置及用於執行資料壓縮的影像處理裝置
CN106961601A (zh) 视频数据的压缩和解压缩
KR20190091181A (ko) 이미지 처리 장치
JPH02161887A (ja) 画像信号の符号化方式とその装置
JPH0516226B2 (zh)
Lakhani et al. Improved Huffmann code tables for still and video image encoders

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant