CN104937934A - 图像边界邻域中的自回归像素预测 - Google Patents

图像边界邻域中的自回归像素预测 Download PDF

Info

Publication number
CN104937934A
CN104937934A CN201380071242.3A CN201380071242A CN104937934A CN 104937934 A CN104937934 A CN 104937934A CN 201380071242 A CN201380071242 A CN 201380071242A CN 104937934 A CN104937934 A CN 104937934A
Authority
CN
China
Prior art keywords
pixel
modified
district
value
training center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380071242.3A
Other languages
English (en)
Other versions
CN104937934B (zh
Inventor
A.魏因利希
P.阿蒙
J.雷姆
A.胡特
A.考普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN104937934A publication Critical patent/CN104937934A/zh
Application granted granted Critical
Publication of CN104937934B publication Critical patent/CN104937934B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明涉及一种用于编码数字图像数据(I)的方法,所述数据包括具有对应像素值(i0,…,i112)的像素(p0,p112)的一个或多个阵列。对于像素的每一个阵列,基于邻近于待编码的当前像素(p0)的特定邻域区(SN)中的经重构的像素(p1,…,p12)的经重构像素值(i1,…,i12)的加权和执行自回归像素预测方法。为了确定权重,考虑邻近于当前像素(p0)的特定训练区(ST)中的像素值(p1,…,p12)。该编码方法的特征在于在针对例如像素阵列的边界处的邻域区和训练区中的所有像素不存在经重构的像素值的情况中,适当确定特定邻域区(SN)和特定训练区(ST)。在这样的情况中,将邻域区中的像素数目减少至经重构的像素的数目,直到训练区中的像素数目与邻域区中的像素数目之间的比值超过预确定的阈值。本发明的编码方法提供了具有高精度的预测并且因此导致图像数据的高效编码。

Description

图像边界邻域中的自回归像素预测
本发明涉及用于编码数字图像数据的方法以及涉及对应的解码方法。另外,本发明涉及用于编码数字图像数据的设备和用于解码数字图像数据的设备。
增加对视觉内容(比如图像、视频或多维医学数据)的分辨率和质量要求提升了对于高度高效的编码方法的需求。在预测编码技术中,对图像数据中的像素的像素值进行预测。经预测的相似值与原始像素值之间的差(即预测误差)被压缩,从而形成经编码的图像数据的一部分。
在文献[1]至[3]中,描述了所谓的分段式自回归像素预测方法的不同变型。在那些方法中,基于邻近于当前像素的邻域区中的经重构的、之前处理的像素的加权和计算要预测的当前像素的像素值。为了确定权重,对基于针对邻近于当前像素的训练区中的已知像素值的加权和的线性方程组进行求解。
为了进行精确预测,分段式自回归像素预测方法要求围绕当前像素的已知经重构的像素的大因果(large causal)邻域区。通常,这样的大邻域区并非对所有图像位置都可用,例如在图像边界处。如果图像区必须被彼此独立地进行编码,则该问题变得更严重,因为这是并行编码实现中的分块式处理的情况。
以上描述的出现在分段式自回归像素预测方法中的边界问题在现有技术公开物中通常未被解决,或者建议在使用自回归像素预测方法时跳过边界区。解决该问题而没有算法改变的直接方式是在边界区处例如利用已经传输的边界像素值的已知值的图像填充(例如恒定边界扩展)。在文献[4]中,建议减小在边界位置处的训练区尺寸。然而,这造成过拟合并且通常导致不良状态的线性方程组。用于应对边界区的另一选择是使用具有松弛上下文要求的不同预测方案的特殊边界像素处置,比如中值预测(参见文件[5])。这样的特殊处置要求附加的实现努力,造成不均一的预测,并且可能通常显著地危及预测精度。
本发明的目的是提供一种克服以上缺点并且使得能够实现具有低复杂性的高效压缩的包括分段式自回归像素预测方法的用于编码数字图像数据的方法。另外,本发明的目的是提供对应的解码方法以及用于编码的设备和用于解码的设备。
该目的通过独立专利权利要求解决。本发明的优选实施例在从属权利要求中限定。
根据本发明的方法,编码包括具有对应像素值的像素的一个或多个阵列的数字图像数据(即2-D、3-D或甚至N维数据),其中通过下述预测来预测每一个阵列中的待编码像素的像素值,在所述预测中,基于邻近于当前像素的特定邻域区中的经重构的、之前处理的像素的经重构像素值的加权和来确定当前像素的经预测的值。所述经重构的像素值涉及之前已经在该方法中被压缩和解压缩的像素值或甚至涉及在使用无损编码方法的情况中的原始像素值。基于用于邻近于当前像素的特定训练区中的经重构像素的线性和/或非线性方程来确定经重构的像素值的加权和的权重,其中训练区至少具有邻域区的尺寸并且优选地(但不必然地)包括邻域区的像素。所描述的方法目前涉及分段式自回归预测方法。在用于生成经编码的图像数据的编码方法中处理经预测的像素值与原始像素值之间的预测误差,如从现有技术中得知的那样。以上术语“线性和/或非线性方程”涉及就作为变量的权重而言为线性和/或非线性的方程。
本发明的方法基于用于确定在所述预测方法中使用的特定邻域区和特定训练区的新技术。如在下文中描述的那样确定那些区。
在步骤a)中,邻近于当前像素的预设邻域区中的下述那些像素被确定,即:对于这些像素而言存在阵列中的经重构的像素值,从而导致由所确定的像素限定的经修改的邻域区。另外,在步骤b)中,邻近于当前像素的预设训练区中的下述那些像素被确定,即:对于这些像素而言存在阵列中的经重构的像素值,并且对于这些像素而言,邻近于相应像素的经修改的邻域区排他性地包括这样的像素,即:对于这样的像素而言存在阵列中的经重构的像素值,从而导致由所确定的像素限定的经修改的训练区。
在步骤c)中,验证值被确定为随参数而变(例如是所述参数),所述参数依赖于经修改的训练区中的像素的增加数目而增加(其中经修改的邻域区中的像素数目是固定的)并且所述参数依赖于经修改的邻域区中的像素的减小数目而增加(其中经修改的训练区中的像素数目是固定的)。优选地,验证值依赖于增加的参数而增加或减小。在特别优选的实施例中,所述参数和优选地所述验证值是经修改的训练区中的像素数目与经修改的邻域区中的像素数目之间的比值。
在根据本发明的方法的步骤d)中,如果验证值对应于小于或者小于或等于预确定的阈值的参数,则执行迭代。在针对验证值的该条件不满足的情况中,特定邻域区对应于经修改的邻域区并且特定训练区对应于经修改的训练区。
在执行迭代的情况中,本发明的方法以步骤e)继续进行,其中在每一个迭代步骤中从经修改的邻域区移除至少一个附加像素,从而在每一个迭代步骤中导致更新的经修改的邻域区,其中当在对应迭代步骤中基于更新的经修改的邻域区中的像素数目(例如基于(更新的)经修改的训练区中的像素数目与更新的经修改的邻域区中的像素数目的比值)确定的验证值对应于超过或达到预确定的阈值的参数时,迭代终止。在迭代终止的情况中,特定邻域区是更新的经修改的邻域区并且特定训练区是这样的区,即:该区排他性地包括预设训练区的下述像素,即:对于所述像素而言存在经重构的像素值,并且对于所述像素而言,在迭代的终止处的更新的经修改的邻域区排他性地包括这样的像素,即:对于这样的像素而言存在经重构的像素值。
本发明的方法基于以下发现:训练区中的像素数目与邻域区中的像素数目之间的低比值由于基于线性和/或非线性方程组的权重的不精确的确定而造成不精确的预测。因而,在这样的情况中,通过在邻域区中剪除像素来增加比值,直到达到预确定的阈值。在优选实施例中,将预确定的阈值选择成至少1.5。优选地,将阈值选择成大约5,从而导致非常好的预测。
在本发明的一个变型中,以上描述的在步骤e)中确定的特定训练区是经修改的训练区。然而,该区还可以是更新的经修改的训练区,其排他性地包括预设训练区的所有像素,对于该所有像素而言,存在经重构的像素值,并且对于该所有像素而言,在迭代的终止处的更新的经修改的邻域区排他性地包括这样的像素,即:对于这样的像素而言存在经重构的像素值。在后一种情况中,实现权重的更准确的确定,因为更新的经修改的训练区由于邻域区中的像素的减少的数目而可以包括比经修改的训练区更多的像素。
在本发明的优选实施例中,基于更新的经修改的邻域区中的像素数目和以上限定的更新的经修改的训练区中的像素数目二者确定步骤e)中的验证值。例如,基于更新的经修改的训练区中的像素数目与更新的经修改的邻域区中的像素数目之间的比值确定验证值。这导致用于预测精度的非常好的度量。
在本发明的另一实施例中,在每一个迭代步骤中移除的至少一个像素是这样的像素:该像素导致造成具有大部分像素的更新的经修改的训练区的更新的经修改的邻域区。该实施例提供造成大验证值的训练区的良好适配,并且因此提供预测的良好精度。
在本发明的另一变型中,在像素的每一个阵列中限定欧几里德距离,其中在每一个迭代步骤中移除的至少一个像素是具有到当前像素的最大欧几里德距离的像素。类似于之前所描述的实施例,这导致预测的良好精度。
在存在导致具有大部分像素的更新的经修改的训练区的若干像素的情况中和/或如果存在具有最大欧几里德距离的若干像素,则从那些若干像素中移除这样的像素:其导致具有有着到当前像素的最小距离的形心的更新的经修改的邻域区。这导致邻域区中的像素的移除,其中存在许多其它像素,从而导致良好的预测结果。
在本发明的另一变型中,基于一个或多个准则,特别是在迭代不能找到造成验证值(该验证值对应于超过或达到所述预确定值的参数)的更新的经修改的邻域区的情况中,除以上描述的分段式自回归像素预测之外的另一类型的预测被用于特定当前像素。另一类型的预测的示例是基于邻域区中的可用像素的平均值或最近像素到当前像素的直接拷贝的预测。
在本发明的另一变型中,以基于行扫描和/或Z次序扫描和/或希尔伯特扫描的编码次序编码数字图像数据的像素。
优选地,在编码方法中确定的预测误差经受熵编码。可选地,预测误差在应用熵编码之前可以经受有损压缩方法。如果预测误差仅仅被熵编码,这导致无损编码方案。优选地,用于像素的每一个阵列的熵编码是自适应算术编码或自适应可变长度编码,其优选地以具有一个或多个分布参数和优选地具有方差的初始概率分布开始。例如,概率分布是拉普拉斯或高斯概率分布。分布参数被包括作为经编码的图像数据中的边信息,并且因此使得能够实现经编码的图像数据的正确解码。
在本发明的另一优选实施例中,同时编码像素的若干和优选地所有阵列,使得能够实现若干阵列的并行处理,导致图像数据的快速编码。
在本发明的优选变型中,在执行像素值的预测之前执行以上所描述的步骤a)至e),其中在存储装置中预存储针对像素的特定邻域区和特定训练区,在像素值的预测期间访问所述存储装置。因而,可以在图像数据的实际编码之前执行邻域和训练区的确定,导致图像数据的快速预测和因此的快速编码。
在本发明的优选变型中,编码方法是视频编码方法,其编码数字图像的序列,其中像素的每一个阵列涉及所述序列中的一个块。术语块要被宽泛地解释并且还可以包括整个图像。特别地,视频编码可以基于标准H.264/AVC或(草案)标准HEVC(HEVC=高效视频编码)。
本发明的方法还可以用于编码包括具有三个或更多维度的一个或多个图像的图像数据,特别是例如由计算机断层摄影系统确定的医学体积图像。在这样的情况中,以上提到的块涉及N维立方体,其在三维情况中为正六面体。
除以上的编码方法之外,本发明还涉及用于解码通过以上描述的编码方法编码的数字图像数据的方法。在这样的解码方法中,从经编码的图像数据重构预测误差,所述图像数据包括具有对应像素值的像素的一个或多个阵列,其中通过下述预测来预测每一个阵列中的待解码像素的像素值,在所述预测中,基于邻近于当前像素的特定邻域区中的经重构的、之前解码的像素的经重构像素值的加权和确定当前像素的经预测的值,其中基于邻近于当前像素的特定训练区中的经重构的像素的线性和/或非线性方程确定所述加权和的权重,其中通过经重构的预测误差校正经预测的像素值,从而导致针对当前像素的经解码的像素值。解码方法的特征在于基于与编码期间相同的方式,即基于以上描述的步骤a)至e)来确定针对当前像素的特定邻域区和特定训练区。
在解码方法的优选实施例中,将解码已经被同时编码的像素的若干阵列。在这样的情况中,概率分布的以上限定的一个或多个分布参数可以用于确定像素的对应阵列的起点。
本发明还涉及用于编码和解码数字图像数据的方法,其中通过以上描述的编码方法编码数字图像数据,并且通过以上描述的解码方法解码经编码的数字图像数据。
本发明还涉及用于包括具有对应像素值的像素的一个或多个阵列的数字图像数据的编码设备,其中该设备包括用于通过下述预测来预测每一个阵列中的待编码像素的像素值的预测装置,在所述预测中,基于邻近于当前像素的特定邻域区中的经重构的、之前处理的像素的经重构像素值的加权和确定当前像素的经预测的值,其中基于邻近于当前像素的特定训练区中的经重构的像素的线性和/或非线性方程确定所述加权和的权重,其中所述设备包括处理装置,在所述处理装置中处理经预测的像素值与原始像素值之间的预测误差以便生成经编码的图像数据。
本发明的设备的特征在于用于确定针对当前像素的特定邻域区和特定训练区的装置,该装置包括针对以上描述的步骤a)至e)中的每一个的用以执行步骤a)至e)中的对应步骤的装置。
本发明的编码设备优选地包括用于执行根据本发明的编码方法的一个或多个优选实施例的一个或多个附加装置。
本发明还涉及用于解码通过以上描述的编码方法编码的数字图像数据的设备。该设备包括用于从经编码的图像数据重构预测误差的重构装置,所述图像数据包括具有对应像素值的像素的一个或多个阵列,其中所述设备包括用于通过下述预测来预测每一个阵列中的待解码像素的像素值的预测装置,在所述预测中,基于邻近于当前像素的特定邻域区中的经重构的、之前解码的像素的经重构像素值的加权和确定当前像素的经预测的值,其中基于邻近于当前像素的特定训练区中的经重构的像素的线性和/或非线性方程确定所述加权和的权重。所述设备包括用于通过经重构的预测误差校正经预测的像素值的校正装置,从而导致当前像素的经解码的像素值。
解码设备还包括用于确定当前像素的特定邻域区和特定训练区的装置,所述装置包括针对以上描述的步骤a)至e)中的每一个的用以执行步骤a)至e)中的对应步骤的装置。
本发明还涉及用于编码和解码数字图像数据的编解码器,包括根据本发明的编码设备和根据本发明的解码设备。
在下文中,将关于附图描述本发明的实施例,其中:
图1和图2示出可以在本发明的实施例中使用的分段式自回归像素预测方法的邻域区和训练区;
图3示出图示了为了确定邻域区和训练区而在本发明的一个实施例中执行的步骤的流程图;
图4示出基于本发明的实施例从邻域区的像素的移除序列;
图5和图6示出可以在本发明的实施例中使用的编码扫描方向;
图7是实现本发明的实施例的编码方法的示意性图示;
图8是实现本发明的实施例的解码方法的示意性图示;以及
图9是根据本发明的实施例的编码和解码设备的示意性图示。
在下文中,将关于包括图像的时间序列的视频内的图像编码来描述根据本发明的方法的实施例。该方法基于帧内编码,其中通过同一图像中的像素来预测像素的值。该方法使用从现有技术得知的分段式自回归像素预测。然而,如稍后描述的对应邻域区和训练区的确定并非从现有技术得知。
图1和图2图示了可以在本发明的方法中使用的分段式自回归像素预测方法的邻域和训练区。在图1的场景中,图像部分被示为包括像素p0,p1,……,p12(即图像中的对应二维像素位置)。每一个像素具有以强度i0,i1,i2等等的形式的对应像素值。根据图1,以行扫描次序编码像素,其中从图像中的最上行开始逐行遍历图像。对于图像中的每一个像素,确定基于已经从经编码的像素重构的像素的经重构像素值的预测值。在无损编码的情况中,这样的经重构像素值对应于原始像素值。在已经确定了对应像素的经预测的值之后,像素的经预测的值与原始值之间的预测误差经受另外的编码步骤并且此后被传输至解码器。取决于编码的类型,例如在无损编码的情况中仅熵编码可以被应用于预测误差。在有损编码的情况中,预测误差通常经受变换和/或量化。在这样的情况中,通过将逆量化和逆变换应用于预测误差并且将该经重构的预测误差加到对应的经预测的像素值上来得到经重构像素值。在解码器中,使用与用于编码器的相同的预测,其中将解码器中重构的预测误差加到经预测的像素值上,从而导致对应像素的经解码的像素值。
基于图1和图2,基于该像素的邻域中的数个像素确定当前像素的像素值。根据图1,将预测像素p0的像素值i0。为此,考虑已经重构的像素p1至p12的特定邻域区SN。该邻域区对于要预测的每一个像素而言是相同的并且可以被视为用于预测的模板。根据图1,这些是形成邻域区的具有两个像素的最大曼哈坦距离的所有像素。为了计算经预测的值i0,使用以下公式:
项w1,w2,……,w12是自适应的权重,这意味着权重适宜于将根据像素值的更大邻域而预测的每一个像素,所述更大邻域被称为训练区或训练窗口。这样的特定训练区ST在图2中示出。训练区包括邻域区SN的像素p1至p12,其中邻域区SN由边界L指示。另外,被指示为邻域区外部的方形的100个其它像素是训练区ST的部分。为了清楚起见,仅通过那些参考标记标注了邻域区外部的训练区的像素p13和p112。对于训练区内的每一个像素,使用以上的预测公式,只是这些像素的真实值已经是已知的,因为训练区包括具有经重构像素值的经重构的像素。然而,在那些预测公式中权重是未知的,从而使得形成包括作为未知变量的权重的112个线性方程的组。该方程组通过已知的基于最小平方的方法来求解,例如通过使用Moore-Penrose伪逆来求解。对于本领域技术人员而言显然的是,权重还可以基于非线性方程来加以确定,所述非线性方程例如包括平方权重的方程。
以上描述的预测方法对于不在对应图像或图像块的边界处的像素而言是有效的。对于边界处的像素,邻域区和训练区可以扩展超出边界并且因此可能不具有用于对应区中的每一个像素的经重构像素值。根据现有技术,使用基于边界扩展或减小训练区尺寸的用于这类情况的特殊处置,这要求附加的实现努力或造成不均一的预测。相比之下,在下文中描述的本发明提供用于限定邻域区和训练区的容易且直接的方法,其导致对应像素的良好预测。在下文中关于图3的流程图来解释用于限定对应邻域区和训练区的方法。
该方法以基于对应模板的预设邻域区PN和预设训练区PT为开始(开始点S1)。那些区可以与图1和图2中所示的邻域区和训练区相同。如以上提到的,可以将邻域区和训练区中的可能位置约束例如在图像或块边界处。本发明的基本想法包括减小预设邻域区和预设训练区的尺寸的方法。为此,预设邻域区PN如果包含其中像素值或强度未知的像素的话则被剪除。即,从预设邻域区PN得到仅包括具有经重构像素值的像素的经修改的邻域区MN。另外,跳过预设训练区PT中的所有可能的像素位置,其中该位置处的像素值未知或者基于经修改的邻域区MN的其自身的邻域位置之一处的像素值未知。这导致经修改的训练区MT(步骤S2)。事实上,不需要执行比如恒定边界扩展之类的填充或外推操作,其将会损害训练或预测性能,因为这样的数据实际上不是已知的,而是仅从所观察的数据得到的。
如以上解释的,步骤S2导致经修改的邻域区MN和经修改的训练区MT。在下文中,将经修改的邻域区中的位置或像素的数目标注为n,并且将经修改的训练区中的位置或像素的数目标注为m。现在可能发生的是,针对固定数目n的未知权重的训练像素的数目和因此线性方程的数目m变得过小,从而增加病态方程组的概率。这通常造成导致不准确预测(即高预测误差)的不精确的权重的集合,所述高预测误差可能例如由图像噪声导致。为了克服那些缺点,以逐个像素的方式并且以减小欧几里德距离的次序剪除来自经修改的邻域MN区和经修改的训练区MT的另外的位置,如在下文中将解释的那样。
在图3的方法的步骤S3中,计算验证值VA,其表示值m和n的比值。如果验证值VA小于预定义的阈值(从步骤S4出来的分支Y),则以上提到的剪除将发生,因为低验证值具有病态方程组的高概率。在验证值VA大于或等于阈值TV的情况中(从步骤S4出来的分支N),将预测中使用的特定邻域区和特定训练区设定成经修改的邻域区MN和经修改的训练区MT,如步骤S5中指示的那样。
在剪除过程中,在步骤S6中将发生迭代IT。在该迭代的每一个迭代步骤中,丢弃具有到当前像素p0的最大欧几里德距离的经修改的邻域区MN中的像素。这导致每一个迭代步骤中的更新的经修改的邻域区UMN。对于这样的更新的经修改的邻域区,计算更新的经修改的训练区UMT。该更新的经修改的训练区排他性地包括预设训练区PT的这样的所有像素:即,对于这样的像素而言存在经重构像素值,并且对于这样的像素而言,邻近于对应像素的更新的经修改邻域区排他性地包括对于其而言存在经重构像素值的像素。
在每一个迭代步骤之后,基于更新的经修改的邻域区和更新的经修改的训练区的像素数目计算以上描述的验证值VA。即,确定训练区UMT的像素数目与邻域区UMN的像素数目之间的比值。在值VA小于阈值TV的情况下迭代继续。即,在下一迭代步骤中,丢弃具有到待预测像素的最大欧几里德距离的新更新的经修改的邻域区中的另一像素。
在验证值VA达到或超过阈值TV的情况中(步骤S7),迭代终止,因为可以假定可以在这样的情况中实现准确的预测。为了合理稳定的预测,应当将阈值TV选择成至少1.5。根据发明人的实验,大约5的阈值为用于准确预测的良好选择。在迭代IT终止之后,将自回归预测中使用的特定邻域区SN和特定训练区ST分别设定成更新的经修改的邻域区UMN和更新的经修改的训练区UMT(步骤S8)。
在其中在图3的迭代IT中已经移除最后一个邻域像素的情况中,将采用另一预测方案。然而,由于该情况非常罕见并且其意味着存在非常少的上下文信息,因此可以使用比如可用上下文值的平均值或最近的一个的直接拷贝之类的简单预测。然而,相比于现有技术状态(例如像素值的填充),使用分段式自回归的高级预测以令人满意的预测性能(即小预测误差)而适用于更大数目的像素。
还可能发生的是,在迭代IT的对应迭代步骤中,找到具有最大欧几里德距离的多于一个像素。在本文所描述的实施例中,将使用以下过程以便选择将从具有相同最大欧几里德距离的像素中移除的像素:将移除这样的像素,其导致具有有着到待预测当前像素的最小距离的形心的经剪除邻域区。图4示出基于该过程的像素移除次序的示例。在图4中,当前像素p0的邻域区包括像素p1,p2,……,p10。对于邻域区中的每一个像素,对应数字表示在随后的迭代步骤中移除像素所按照的次序。即,首先移除像素p1,随后是像素p3,像素p4,像素p8,像素p2,像素p9,像素p7,像素p5,像素p6和像素p10。
在前文中,已经基于行扫描编码次序描述了本发明的方法。然而,本发明还可以适用于以另一扫描次序的编码方法。可替换的扫描次序的示例在图5和图6中示出。图5对应于Z次序扫描ZS并且图6对应于希尔伯特扫描HS,其中两个扫描次序都从现有技术得知。当如同行扫描次序那样使用另一扫描次序时,可以出现定位在当前像素下方或在当前像素的右侧的具有经重构的像素值的经重构像素。因而,邻域区和训练区可以延伸到那些区域。
如以上描述的,针对待预测的每一个像素确定适当剪除的邻域区和剪除的训练区。在优选实施例中,确定那些剪除区的过程不是在预测期间执行而是预先执行。在该情况中对应区被存储在存储装置中,存储装置在编码期间被访问。因而,该区仅必须被确定一次并且然后可以在编码方法的整个预测过程期间被使用。
以上描述的预测导致经预测的像素值。对于这些值,基于经预测的和原始像素值之间的差确定预测误差。该预测误差可选地经受另外的有损压缩。此后,预测误差被熵编码。在特别优选的实施例中,高效的算术编码器被用于熵编码,其中之前编码的预测误差被用于适应在该算术编码器中处理的概率分布。算术编码本身从现有技术得知,并且使用针对符号字母的符号的经估计的概率,其中每一个符号具有基于概率分布的概率,其中所有概率的总和为1。在算术编码中,具有较高概率的符号需要比具有较低概率的符号更少的码流中的位。在本文所描述的算术编码中,符号字母包括预测误差的所有可能值。
对于图像或图像块内的第一经预测像素值,不存在可用的关于来自之前编码的预测误差的概率分布的过多信息。因此,将分布初始化到合适的初始分布,比如拉普拉斯或高斯分布,其中在编码器中计算比如方差估计之类的几个分布参数并且然后将其传输到解码器来明确作为边信息。
如以上描述的发明可以使用在并行方案中,其中彼此独立地并行编码若干块,从而导致针对每一个块的独立位流。当这些块不被相继解码时,用于块的每一个解码线程需要知晓最终构成的流内的对应块的解码应当开始于的位置。然而,解码器可以使用之前描述的每一个块的经传输的方差来做出针对该位置的预测。
如在前文中所描述的发明可以用作用于每一个块的特殊预测模式(例如标准H.264/AVC中的宏块或草案标准HEVC中的预测单元)。该特殊预测模式指示使用如以上所描述的基于剪除的邻域和训练区的用于每一个块的帧内预测方案。
图7示出在视频编码方法中实现本发明的预测的场景。在该图中,通过编码器接收数字图像I的时间序列。如从现有技术得知的,编码器变换和/或量化预测误差PE,如块T和Q所指示的那样。经量化的预测误差经受逆量化IQ和逆变换IT。此后,重构经预测的像素,即将在逆变换IT之后获得的预测误差加到对应的经预测的值上并且存储在帧缓冲器FB中。对于帧内预测IP,基于帧缓冲器FB中的当前图像的已经处理的部分(块或像素)构造经预测的像素值。对于帧间预测,预测是基于经受了运动补偿MC的之前图像的块。运动补偿受作为运动估计ME的输出的运动矢量MV控制。在图7的编码方案中,使用模式选择元件MS,其例如基于率失真优化而在帧间预测和帧内预测之间切换。通过量化器Q获得的经量化的变换系数、运动信息(即运动矢量MV)和其它信令信息在熵编码器EC中被熵编码以产生经编码的位流CI。
对于通过根据本发明的预测编码的图像的部分,帧内预测IP是基于这样的编码步骤,即,其中如上面所描述的那样使用基于剪除的邻域和训练区的分段式自回归帧内预测以及上下文减少。由于逐像素执行该方法,所以对于这些块而言通常回避变换T。对于无损编码,同样回避量化Q。在帧内预测的情况中,图7的图必须被解释为逐像素处理,而对于帧间预测(主要通过运动补偿MC执行),图可以被解释为逐块或逐帧处理。
作为图7的编码的结果,在熵编码EC之后获得图像的经编码的序列CI。为了解码,使用如图8中所示的方法。根据该图,图像的经编码的序列CI首先经受熵解码ED、逆量化IQ和/或逆变换IT。将结果得到的预测误差PE加到已经被帧内或帧间预测的预测值上,如在编码器处做的那样。解码器的模式选择MS通常由包含在位流中的信息控制。发明的解码步骤被并入帧内预测元件IP中,其执行与在编码器侧相同的操作。对于帧间预测,通过从经编码的位流提取的经传输的运动矢量MV执行运动补偿MC。如针对编码器的情况那样,将经重构的像素值存储在帧缓冲器FB中。帧缓冲器中的信息被帧内预测元件IP和运动补偿元件MC使用。作为图8中所示的解码过程的结果,获得图像的经解码的序列DI。
如以上描述的自回归像素预测可以独立地用于具有分离的图像块的形式的图像阵列。然而,本方法不限于基于块的应用。分离处理的图像阵列可以具有任意形状,其还可以适应图像结构。一般而言,本发明的方法可以适用于任何类型的视觉数据,比如视频、医学体积或动态体积、多视图数据、超光谱数据乃至更多。对于这样的应用,针对该预测方法剪除的邻域区和训练区还可以具有多维形状。
除无损编码之外,本发明的方法还可以用于有损像素预测压缩或甚至用于稀疏图像复原、去噪和误差隐藏,其中主要目的也是从已知邻域像素估计未知值。
如前文中描述的方法具有若干优点。具体地,该方法描述了用于逐像素预测的邻域区和训练区的经适配减少方法以便维持用于计算经预测的像素值的良态线性方程组。作为该方法的结果,可以在比如边界(在该边界处上下文信息受约束)之类的区中实现更好的预测和因而更小的预测误差。该发明方法在用于其中出现许多边界区的并行处理的基于块的编码中特别具有优点。另外,在优选实施例中,可以通过传输用于初始化用于算术编码的概率分布的方差信息以及通过其用于预测代码流大小的运用来节约附加速率。
在特别优选的实施例中,离线(即在执行预测之前)完成剪除的邻域和训练区的确定。在该情况中,针对待预测的每一个像素的剪除的邻域和训练区可以存储在查找表中或者可以在编码软件中硬编码以便防止通过在预测期间执行剪除方法而增加的计算复杂性。
通过使用本发明的方法,可以在编码器和解码器侧这二者上执行若干独立图像阵列的并行处理。在分离的编码和解码线程之间不存在所要求的通信或同步。另外,并行化的量可以随待编码的图像的数目和块尺寸任意缩放。甚至数千线程是可能的。由于同时编码的块内的像素位置具有相同的邻域和训练区,所以该方案还适合于SIMD架构(SIMD=单个指令多个数据)。
发明人已经执行了实验,其中将通过使用图像填充的已知预测方法获得的预测误差与通过根据本发明的方法获得的预测误差进行比较。实验表明,可以改进某些图像区域中的不稳定的预测,即这些区域中的预测误差可以通过本发明的方法而得以减小。
图9示出包括使用根据本发明的方法的编码设备和解码设备的编解码器的示意性图示。在图9的场景中,将图像I的序列馈送至编码器EN。编码器包括用于通过自回归逐像素预测来预测在多个图像区域的每一个区域中要解码的像素的像素值的预测装置M1。在该预测中,基于邻近于当前像素的特定邻域区中的经重构的、之前处理的像素的经重构像素值的加权和确定当前像素的经预测的值,其中基于用于邻近于当前像素的特定训练区中的经重构的像素的线性方程确定所述加权和的权重。编码器还包括用于确定针对当前像素的以上提到的特定邻近区和特定训练区的装置M2。该装置M2包括针对以上关于发明编码描述的步骤a)至e)中的每一个的用以执行相应步骤a)至e)的装置Ma,Mb,Mc,Md和Me。另外,编码器包括处理装置M3,其中处理经预测的像素值与原始像素值之间的预测误差以用于生成经编码的图像数据CI。该处理通常包括熵编码以及可选地包括变换和量化。
通过编码器EN获得的经编码的图像数据CI被传输至解码器DEC,其包括用于从经编码的图像数据重构预测误差的重构装置M4。该重构装置通常包括熵解码器以及可选地包括逆变换元件和逆量化元件。另外,解码器DEC包括预测装置M5,其类似于编码器EN中的预测装置M1那样工作。即,预测装置通过自回归逐像素预测来预测将解码在多个像素阵列中的每一个中的像素的像素值。而且,解码设备DEC包括用于确定预测装置M5中使用的特定邻域区和特定训练区的装置M6。装置M6包括针对以上描述的解码步骤a)至e)中的每一个的用以执行步骤a)至e)中的对应步骤的装置Ma',Mb',Mc',Md'和Me'。另外,解码器DEC包括用于通过由重构装置M4获得的经重构的预测误差来校正由预测装置M5获得的经预测的像素值的校正装置M7。作为结果,获得图像的经解码的序列DI,其对应于无损编码和解码情况中的图像的原始序列I。
参考文献
[1] X. Li和M. T. Orchard, "Edge-directed prediction for lossless compression of natural images , " IEEE 图像处理汇刊, 卷10, no . 6, 第813-817页, 2001。
[2] X. Wu, E. U. Barthel和W. Zhang, "Piecewise 2D autoregression for predictive image coding, " 1998年图像处理国际会议, 1998. ICIP 98. Proceedings, 1998, 第901 -904页,卷3。
[3] X. Wu, G. Zhai, X. Yang和W. Zhang, "Adaptive Sequential Prediction of Multidimensional Signals With Applications to Lossless Image Coding, " IEEE 图像处理汇刊, 卷20 , no . 1 , 第36 -42页,2011年1月。
[4] S . Marusic和G . Deng, "Adaptive prediction for lossless image compression, " 信号处理:图像通信,卷17 , no . 5, 第363-372页, Mai 2002.
[5] M. J. Weinberger, G. Seroussi和G. Sapiro, "The LOCO- I lossless image compression algorithm: principles and standardization into JPEG-LS . , " IEEE图像处理汇刊, 卷9, no . 8 , 第1309-24页,2000年1月。

Claims (23)

1.一种用于编码数字图像数据(I)的方法,所述数据包括具有对应像素值(i0,…,i112)的像素(p0,…,p112)的一个或多个阵列,其中每一个阵列中的待编码像素(p0,…,p112)的像素值(i0,…,i112)通过下述预测来预测,在所述预测中,基于邻近于当前像素(p0)的特定邻域区(SN)中的经重构的、之前处理的像素(p1,…,p12)的经重构的像素值(i1,…,i12)的加权和确定当前像素(p0)的经预测的值(i0),其中基于邻近于当前像素(p0)的特定训练区(ST)中的经重构的像素(p1,…,p112)的线性和/或非线性方程确定所述加权和的权重,其中处理经预测的像素值(p0)与原始像素值之间的预测误差(PE)以便生成经编码的图像数据(CI);
其特征在于
按如下方式确定针对当前像素(p0)的特定邻域区(SN)和特定训练区(ST):
a)邻近于当前像素(p0)的预设邻域区(PN)中的下述那些像素被确定,即:对于这些像素而言存在经重构的像素值(i1,…,i12),从而导致由所确定的像素限定的经修改的邻域区(MN);
b)邻近于当前像素(p0)的预设训练区(PT)中的下述那些像素被确定,即:对于这些像素而言存在经重构的像素值(i1,…,i112),并且对于这些像素而言,经修改的邻域区(MN)排他性地包括这样的像素(p1,…,p12),即:对于这样的像素(p1,…,p12)而言存在经重构的像素值(i1,…,i12),从而导致由所确定的像素限定的经修改的训练区(MT);
c)将验证值(VA)确定为随参数而变,所述参数依赖于经修改的训练区(MT)中的像素(p1,…,p112)的增加数目而增加,并且所述参数依赖于经修改的邻域区(MN)中的像素(p1,…,p12)的减小数目而增加;
d)在验证值(VA)对应于小于或等于预确定的阈值(TV)的参数的情况中,执行迭代(IT),其中否则所述特定邻域区(SN)对应于经修改的邻域区(MN)并且所述特定训练区(ST)对应于经修改的训练区(MT);
e)在执行所述迭代(IT)的情况中,在每一个迭代步骤中从经修改的邻域区(MN)中移除至少一个附加像素,从而在每一个迭代步骤中导致更新的经修改的邻域区(UMN),其中当在对应迭代步骤中基于更新的经修改的邻域区(UMN)中的像素数目确定的验证值(VA)对应于超过或达到预确定的阈值(TV)的参数时,迭代(IT)终止,特定邻域区(SN)是在迭代(IT)终止处的更新的经修改的邻域区(UMN),并且特定训练区(ST)是这样的区,即:该区排他性地包括预设训练区(PT)的下述像素(p1,…,p112),即:对于所述像素(p1,…,p112)而言存在经重构的像素值(i1,…,i112),并且对于所述像素(p1,…,p112)而言,在迭代(IT)的终止处的更新的经修改的邻域区(UMN)排他性地包括这样的像素(p1,…,p12),即:对于这样的像素(p1,…,p12)而言存在经重构的像素值(i1,…,i12)。
2.根据权利要求1的方法,其中所述参数是经修改的训练区(MT)中的像素(p1,…,p112)的数目与经修改的邻域区(MN)中的像素(p1,…,p12)的数目之间的比值,所述验证值(VA)优选地为所述参数。
3.根据权利要求1或2的方法,其中在步骤e)中,在每一个迭代步骤中确定更新的经修改的训练区(UMT),该更新的经修改的训练区(UMT)是这样的区,该区排他性地包括预设训练区(PT)的所有像素(p1,…,p112),对于该所有像素(p1,…,p112)而言存在经重构的像素值(p1,…,p112),并且对于该所有像素(p1,…,p112)而言,更新的经修改的邻域区(UMN)排他性地包括这样的像素(p1,…,p12),即:对于这样的像素(p1,…,p12)而言存在经重构的像素值(i1,…,i12)。
4.根据权利要求3的方法,其中在步骤e)中确定的特定训练区(ST)是更新的经修改的训练区(UMT)和/或基于更新的经修改的邻域区(UMN)中的像素(p1,…,p12)的数目和更新的经修改的训练区(UMT)中的像素(p1,…,p112)的数目二者来确定步骤e)中的验证值(VA)。
5.根据权利要求3或4的方法,其中在每一个迭代步骤中移除的所述至少一个像素是这样的像素:该像素导致造成具有大部分像素(p0,…,p112)的更新的经修改的训练区(UMT)的更新的经修改的邻域区(UMN)。
6.根据前述权利要求之一的方法,其中在像素(p0,…,p112)的每一个阵列中限定欧几里德距离,其中在每一个迭代步骤中移除的所述至少一个像素是具有到当前像素(p0)的最大欧几里德距离的像素。
7.根据权利要求5和/或6的方法,其中在存在其移除导致具有大部分像素(p0,…,p112)的更新的经修改的训练区(UMT)的若干像素和/或具有最大欧几里德距离的若干像素的情况中,移除导致具有有着到当前像素(p0)的最小距离的形心的更新的经修改的邻域区(UMN)的像素。
8.根据前述权利要求之一的方法,其中基于一个或多个准则,特别是在迭代(IT)不能找到造成对应于超过或达到预确定的阈值(TV)的参数的验证值(VA)的更新的经修改的邻域区(UMN)的情况中,另一类型的预测被用于特定当前像素(p0)。
9.根据前述权利要求之一的方法,其中以基于行扫描和/或Z次序扫描和/或希尔伯特扫描的编码次序编码数字图像数据(I)的像素(p0,…,p112)。
10.根据前述权利要求之一的方法,其中预测误差(PE)经受熵编码(EC)。
11.根据权利要求10的方法,其中用于像素的每一个阵列的熵编码是自适应算术编码或自适应可变长度编码,其优选地以具有一个或多个分布参数和特别地具有方差的初始概率分布开始,所述一个或多个分布参数被包括作为经编码的图像数据(CI)中的边信息。
12.根据前述权利要求之一的方法,其中同时编码像素(p0,…,p112)的若干和优选地所有阵列。
13.根据前述权利要求之一的方法,其中在执行像素值(p1,…,p112)的预测之前执行步骤a)至e),其中在存储装置中预存储针对像素(p0,…,p112)的特定邻域区(SN)和特定训练区(ST),在像素值(p0,…,p112)的预测期间访问所述存储装置。
14.根据前述权利要求之一的方法,其中所述方法是视频编码方法,其编码数字图像的序列,其中像素(p0,…,p112)的每一个阵列涉及所述序列中的块。
15.根据权利要求14的方法,其中所述视频编码基于标准H.264/AVC或HEVC。
16.根据前述权利要求之一的方法,其中所述图像数据(I)包括具有三个或更多维度的一个或多个图像,特别是医学体积图像。
17.一种用于解码通过根据前述权利要求之一的方法编码的数字图像数据(CI)的方法,其中从经编码的图像数据(CI)重构预测误差(PE),所述图像数据包括具有对应像素值(i0,…,i112)的像素(p0,…,p112)的一个或多个阵列,其中通过下述预测来预测每一个阵列中的待解码像素(p0,…,p112)的像素值(i0,…,i112),在所述预测中,基于邻近于当前像素(p0)的特定邻域区(SN)中的经重构的、之前解码的像素(p1,…,p12)的经重构的像素值(i1,…,i12)的加权和确定当前像素(p0)的经预测的值(i0),其中基于邻近于当前像素(p0)的特定训练区(ST)中的经重构的像素(p1,…,p112)的线性和/或非线性方程确定所述加权和的权重,其中通过经重构的预测误差(PE)校正经预测的像素值(i0),从而导致针对当前像素(p0)的经解码的像素值;
其特征在于
按如下方式确定针对当前像素(p0)的特定邻域区(SN)和特定训练区(ST):
a)邻近于当前像素(p0)的预设邻域区(PN)中的下述那些像素被确定,即:对于这些像素而言存在经重构的像素值(i1,…,i12),从而导致由所确定的像素限定的经修改的邻域区(MN);
b)邻近于当前像素(p0)的预设训练区(PT)中的下述那些像素被确定,即:对于这些像素而言存在经重构的像素值(i1,…,i112),并且对于这些像素而言,经修改的邻域区(MN)排他性地包括这样的像素(p1,…,p12),即:对于这样的像素(p1,…,p12)而言存在经重构的像素值(i1,…,i12),从而导致由所确定的像素限定的经修改的训练区(MT);
c)将验证值(VA)确定为随参数而变,所述参数依赖于经修改的训练区(MT)中的像素(p1,…,p112)的增加数目而增加,并且所述参数依赖于经修改的邻域区(MN)中的像素(p1,…,p12)的减小数目而增加;
d)在验证值(VA)对应于小于或者小于或等于预确定的阈值(TV)的参数的情况中,执行迭代(IT),其中否则所述特定邻域区(SN)对应于经修改的邻域区(MN)并且所述特定训练区(ST)对应于经修改的训练区(MT);
e)在执行所述迭代(IT)的情况中,在每一个迭代步骤中从经修改的邻域区(MN)中移除至少一个附加像素,从而在每一个迭代步骤中导致更新的经修改的邻域区(UMN),其中当在对应迭代步骤中基于更新的经修改的邻域区(UMN)中的像素数目确定的验证值(VA)对应于超过或达到预确定的阈值(TV)的参数时,迭代(IT)终止,特定邻域区(SN)是在迭代(IT)终止处的更新的经修改的邻域区(UMN),并且特定训练区(ST)是这样的区,即:该区排他性地包括预设训练区(PT)的下述像素(p1,…,p112),即:对于所述像素(p1,…,p112)而言存在经重构的像素值(i1,…,i112),并且对于所述像素(p1,…,p112)而言,在迭代(IT)的终止处的更新的经修改的邻域区(UMN)排他性地包括这样的像素(p1,…,p12),即:对于这样的像素(p1,…,p12)而言存在经重构的像素值(i1,…,i12)。
18.根据权利要求17的方法,其中解码通过根据权利要求11和12的方法编码的数字图像数据(CI),其中概率分布的所述一个或多个分布参数被用于确定像素的对应阵列的起点。
19.一种用于编码和解码数字图像数据(I)的方法,其中
- 通过根据权利要求1至16之一的方法编码数字图像数据(I);
- 通过根据权利要求17或18的方法解码经编码的数字图像数据(CI)。
20.一种用于编码数字图像数据(I)的设备,所述数据包括具有对应像素值(i0,…,i112)的像素(p0,…,p112)的一个或多个阵列,其中所述设备包括用于通过下述预测来预测每一个阵列中的待编码像素(p0,…,p112)的像素值(i0,…,i112)的预测装置(M1),在所述预测中,基于邻近于当前像素(p0)的特定邻域区(SN)中的经重构的、之前处理的像素(p1,…,p12)的经重构的像素值(i1,…,i12)的加权和确定当前像素(p0)的经预测的值(i0),其中基于邻近于当前像素(p0)的特定训练区(ST)中的经重构的像素(p0,…,p112)的线性和/或非线性方程确定所述加权和的权重,其中所述设备包括处理装置(M3),在所述处理装置(M3)中处理经预测的像素值(p0)与原始像素值之间的预测误差(PE)以便生成经编码的图像数据(CI);
其特征在于
所述设备包括用于确定针对当前像素(p0)的特定邻域区(SN)和特定训练区(ST)的装置(M2),其包括针对以下步骤a)至e)中的每一个的用以执行步骤a)至e)中的对应步骤的装置(Ma,…,Me):
a)邻近于当前像素(p0)的预设邻域区(PN)中的下述那些像素被确定,即:对于这些像素而言存在经重构的像素值(i1,…,i12),从而导致由所确定的像素限定的经修改的邻域区(MN);
b)邻近于当前像素(p0)的预设训练区(PT)中的下述那些像素被确定,即:对于这些像素而言存在经重构的像素值(i1,…,i112),并且对于这些像素而言,经修改的邻域区(MN)排他性地包括这样的像素(p1,…,p12),即:对于这样的像素(p1,…,p12)而言存在经重构的像素值(i1,…,i12),从而导致由所确定的像素限定的经修改的训练区(MT);
c)将验证值(VA)确定为随参数而变,所述参数依赖于经修改的训练区(MT)中的像素(p1,…,p112)的增加数目而增加,并且所述参数依赖于经修改的邻域区(MN)中的像素(p1,…,p12)的减小数目而增加;
d)在验证值(VA)对应于小于或者小于或等于预确定的阈值(TV)的参数的情况中,执行迭代(IT),其中否则所述特定邻域区(SN)对应于经修改的邻域区(MN)并且所述特定训练区(ST)对应于经修改的训练区(MT);
e)在执行所述迭代(IT)的情况中,在每一个迭代步骤中从经修改的邻域区(MN)中移除至少一个附加像素,从而在每一个迭代步骤中导致更新的经修改的邻域区(UMN),其中当在对应迭代步骤中基于更新的经修改的邻域区(UMN)中的像素数目确定的验证值(VA)对应于超过或达到预确定的阈值(TV)的参数时,迭代(IT)终止,特定邻域区(SN)是在迭代(IT)终止处的更新的经修改的邻域区(UMN),并且特定训练区(ST)是这样的区,即:该区排他性地包括预设训练区(PT)的下述像素(p1,…,p112),即:对于所述像素(p1,…,p112)而言存在经重构的像素值(i1,…,i112),并且对于所述像素(p1,…,p112)而言,在迭代(IT)的终止处的更新的经修改的邻域区(UMN)排他性地包括这样的像素(p1,…,p12),即:对于这样的像素(p1,…,p12)而言存在经重构的像素值(i1,…,i12)。
21.根据权利要求20的设备,其中所述设备包括用于执行根据权利要求2至16之一的方法的一个或多个附加装置。
22.一种用于解码通过根据权利要求1至16之一的方法编码的数字图像数据(CI)的设备,其中所述设备包括用于从经编码的图像数据(CI)重构预测误差(PE)的重构装置(M4),所述图像数据包括具有对应像素值(i0,…,i112)的像素(p0,…,p112)的一个或多个阵列,其中所述设备包括用于通过下述预测来预测每一个阵列中的待解码像素(p0,…,p112)的像素值(i0,…,i112)的预测装置(M5),在所述预测中,基于邻近于当前像素(p0)的特定邻域区(SN)中的经重构的、之前解码的像素(p1,…,p12)的经重构的像素值(i1,…,i12)的加权和确定当前像素(p0)的经预测的值(i0),其中基于邻近于当前像素(p0)的特定训练区(ST)中的经重构的像素(p0,…,p112)的线性和/或非线性方程确定所述加权和的权重,其中所述设备包括用于通过经重构的预测误差(PE)校正经预测的像素值(i0)的校正装置(M7),从而导致针对当前像素(p0)的经解码的像素值;
其特征在于
所述设备包括用于确定针对当前像素(p0)的特定邻域区(SN)和特定训练区(ST)的装置(M6),其包括针对以下步骤a)至e)中的每一个的用以执行步骤a)至e)中的对应步骤的装置(Ma',…,Me'):
a)邻近于当前像素(p0)的预设邻域区(PN)中的下述那些像素被确定,即:对于这些像素而言存在经重构的像素值(i1,…,i12),从而导致由所确定的像素限定的经修改的邻域区(MN);
b)邻近于当前像素(p0)的预设训练区(PT)中的下述那些像素被确定,即:对于这些像素而言存在经重构的像素值(i1,…,i112),并且对于这些像素而言,经修改的邻域区(MN)排他性地包括这样的像素(p1,…,p12),即:对于这样的像素(p1,…,p12)而言存在经重构的像素值(i1,…,i12),从而导致由所确定的像素限定的经修改的训练区(MT);
c)将验证值(VA)确定为随参数而变,所述参数依赖于经修改的训练区(MT)中的像素(p1,…,p112)的增加数目而增加,并且所述参数依赖于经修改的邻域区(MN)中的像素(p1,…,p12)的减小数目而增加;
d)在验证值(VA)对应于小于或者小于或等于预确定的阈值(TV)的参数的情况中,执行迭代(IT),其中否则所述特定邻域区(SN)对应于经修改的邻域区(MN)并且所述特定训练区(ST)对应于经修改的训练区(MT);
e)在执行所述迭代(IT)的情况中,在每一个迭代步骤中从经修改的邻域区(MN)中移除至少一个附加像素,从而在每一个迭代步骤中导致更新的经修改的邻域区(UMN),其中当在对应迭代步骤中基于更新的经修改的邻域区(UMN)中的像素数目确定的验证值(VA)对应于超过或达到预确定的阈值(TV)的参数时,迭代(IT)终止,特定邻域区(SN)是在迭代(IT)终止处的更新的经修改的邻域区(UMN),并且特定训练区(ST)是这样的区,即:该区排他性地包括预设训练区(PT)的下述像素(p1,…,p112),即:对于所述像素(p1,…,p112)而言存在经重构的像素值(i1,…,i112),并且对于所述像素(p1,…,p112)而言,在迭代(IT)的终止处的更新的经修改的邻域区(UMN)排他性地包括这样的像素(p1,…,p12),即:对于这样的像素(p1,…,p12)而言存在经重构的像素值(i1,…,i12)。
23.一种用于编码和解码数字图像数据(I)的编解码器,包括根据权利要求20或21的编码设备和根据权利要求22的解码设备。
CN201380071242.3A 2013-01-23 2013-12-19 用于编码和解码数字图像数据的方法和装置 Expired - Fee Related CN104937934B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13152388.8 2013-01-23
EP20130152388 EP2768227A1 (en) 2013-01-23 2013-01-23 autogressive pixel prediction in the neighbourhood of image borders
PCT/EP2013/077277 WO2014114413A1 (en) 2013-01-23 2013-12-19 Autogressive pixel prediction in the neighborhood of image borders

Publications (2)

Publication Number Publication Date
CN104937934A true CN104937934A (zh) 2015-09-23
CN104937934B CN104937934B (zh) 2019-06-04

Family

ID=47603425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380071242.3A Expired - Fee Related CN104937934B (zh) 2013-01-23 2013-12-19 用于编码和解码数字图像数据的方法和装置

Country Status (4)

Country Link
US (1) US9872032B2 (zh)
EP (2) EP2768227A1 (zh)
CN (1) CN104937934B (zh)
WO (1) WO2014114413A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112236778A (zh) * 2018-04-06 2021-01-15 西门子股份公司 使用cad模型作为先验的从图像中的对象识别

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102332782B1 (ko) * 2014-12-15 2021-11-30 삼성전자주식회사 시각 특성을 고려한 영상 데이터 압축
KR102381376B1 (ko) * 2016-05-16 2022-03-31 삼성전자주식회사 비디오 부호화 방법 및 장치, 그 복호화 방법 및 장치
US11442910B2 (en) * 2017-09-28 2022-09-13 Intel Corporation Multiple order delta compression
US11212553B2 (en) * 2017-11-28 2021-12-28 Electronics And Telecommunications Research Institute Bidirectional intra prediction method and apparatus
CN109815926B (zh) * 2019-01-30 2022-08-23 南京邮电大学 一种基于欧式距离-差分编码的改进lbp算法
CN113012076B (zh) * 2021-04-27 2023-06-23 广东工业大学 一种基于邻近像素点和自编码器的敦煌壁画修复方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070002060A1 (en) * 2005-06-29 2007-01-04 King Scott H Virtual device buffer for embedded device
CN101366283A (zh) * 2006-01-11 2009-02-11 高通股份有限公司 具有精细粒度空间可缩放性的视频编码
CN101385346A (zh) * 2006-02-17 2009-03-11 汤姆森许可贸易公司 处理视频数据亮度变化的局部加权预测
CN101977323A (zh) * 2010-11-16 2011-02-16 上海交通大学 基于视频时空相关性约束的分布式视频编码重构方法
WO2011023502A1 (fr) * 2009-08-28 2011-03-03 Commissariat A L'energie Atomique Et Aux Energies Alternatives Dispositif de calcul reconfigurable sur voisinage flexible de pixels

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070002060A1 (en) * 2005-06-29 2007-01-04 King Scott H Virtual device buffer for embedded device
CN101366283A (zh) * 2006-01-11 2009-02-11 高通股份有限公司 具有精细粒度空间可缩放性的视频编码
CN101385346A (zh) * 2006-02-17 2009-03-11 汤姆森许可贸易公司 处理视频数据亮度变化的局部加权预测
WO2011023502A1 (fr) * 2009-08-28 2011-03-03 Commissariat A L'energie Atomique Et Aux Energies Alternatives Dispositif de calcul reconfigurable sur voisinage flexible de pixels
CN101977323A (zh) * 2010-11-16 2011-02-16 上海交通大学 基于视频时空相关性约束的分布式视频编码重构方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIAOLIN WU EL: "Adaptive Sequential Prediction of Multidimensional Signals With Applications to Lossless Image Coding", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112236778A (zh) * 2018-04-06 2021-01-15 西门子股份公司 使用cad模型作为先验的从图像中的对象识别
CN112236778B (zh) * 2018-04-06 2024-04-16 西门子股份公司 使用cad模型作为先验的从图像中的对象识别

Also Published As

Publication number Publication date
US9872032B2 (en) 2018-01-16
US20150365682A1 (en) 2015-12-17
EP2907310A1 (en) 2015-08-19
EP2907310B1 (en) 2018-09-19
EP2768227A1 (en) 2014-08-20
WO2014114413A1 (en) 2014-07-31
CN104937934B (zh) 2019-06-04

Similar Documents

Publication Publication Date Title
CN110024392B (zh) 用于视频译码的低复杂度符号预测
EP2805499B1 (en) Video decoder, video encoder, video decoding method, and video encoding method
CN104937934A (zh) 图像边界邻域中的自回归像素预测
US20140010284A1 (en) Image transform and inverse transform method, and image encoding and decoding device using same
KR102390162B1 (ko) 데이터 인코딩 장치 및 데이터 인코딩 방법
US8594189B1 (en) Apparatus and method for coding video using consistent regions and resolution scaling
US20120008686A1 (en) Motion compensation using vector quantized interpolation filters
TWI468018B (zh) 使用向量量化解區塊過濾器之視訊編碼
CN105474642A (zh) 使用频域差对图像集合进行重新编码
CN113301347A (zh) 一种hevc高清视频编码的优化方法
CN104702959B (zh) 一种视频编码的帧内预测方法及系统
KR20110114429A (ko) 영상의 변환 방법 및 장치, 역변환 방법 및 장치
CN102801982B (zh) 一种应用于视频压缩且基于块积分的快速运动估计方法
USRE47004E1 (en) Moving image coding device and method
CN112313950B (zh) 视频图像分量的预测方法、装置及计算机存储介质
JP2017028372A (ja) 符号化方式変換装置、方法及びプログラム
US20220321879A1 (en) Processing image data
US9549193B2 (en) Video encoding method and video encoding device
KR20080075987A (ko) 움직임 추정 방법
KR101761131B1 (ko) 비디오 부호화기의 고속 복원 오차 추정 장치 및 방법
JP6497100B2 (ja) 映像符号化装置、方法及びプログラム
CN113261279A (zh) 预测值的确定方法、编码器、解码器以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190604

Termination date: 20211219