CN101194514B - 在图像编码或视频编码中的适应性插值 - Google Patents

在图像编码或视频编码中的适应性插值 Download PDF

Info

Publication number
CN101194514B
CN101194514B CN2006800209364A CN200680020936A CN101194514B CN 101194514 B CN101194514 B CN 101194514B CN 2006800209364 A CN2006800209364 A CN 2006800209364A CN 200680020936 A CN200680020936 A CN 200680020936A CN 101194514 B CN101194514 B CN 101194514B
Authority
CN
China
Prior art keywords
resolution ratio
image
stage resolution
interpolation
view data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2006800209364A
Other languages
English (en)
Other versions
CN101194514A (zh
Inventor
P·阿蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN101194514A publication Critical patent/CN101194514A/zh
Application granted granted Critical
Publication of CN101194514B publication Critical patent/CN101194514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Abstract

本发明涉及一种用于处理和发送数据(VIDEO)的方法和装置，其中在发送器端图像的图像数据以第一分辨率级(QCIF，CIF)和比第一分辨率级高的第二分辨率级(CIF，CIF)存在。确定至少一个插值参数，用于通过插值(PREDICT)从第一分辨率级(QCIF，CIF)的图像数据中确定第二分辨率级(CIF，4CIF)的图像数据。发送第一分辨率级(QCIF，CIF)和第二分辨率级(CIF，4CIF)的至少一些图像数据，其中对第二分辨率级(CIF，4CIF)的图像数据的发送取决于至少一个特定的插值参数。此外还发送关于该至少一个特定插值参数的说明。本发明还涉及对应的接收器端的方法。本发明还涉及用于执行该方法的发送器(ENCODER)和接收器(DECODER)。

Description

在图像编码或视频编码中的适应性插值
技术领域
本发明涉及用于处理和发送数据的方法，以及用于接收和处理数据的方法。此外本发明还涉及用于执行该方法的发送器和接收器。
背景技术
在通信系统中会在发送器和接收器之间传输消息。通信系统的一个具体例子是无线通信系统。在此借助电磁波通过发送器和接收器之间的无线接口传输例如具有语音信息、图像信息、视频信息、SMS(短消息服务)、MMS(多媒体消息收发服务)或其它数据的消息。在此无线站可以根据无线通信系统的具体实施方式而涉及不同种类的用户端的无线站、即转发器，或网络端的无线设备如基站或无线接入点。在移动无线通信系统中，用户端的无线站的至少一部分涉及移动无线站。电磁波的辐射利用位于为各系统设置的频带内的载波频率来进行。
移动无线通信系统通常称为蜂窝系统，其例如根据GSM(全球移动通信系统)标准或UMTS(通用移动电信系统)标准而具有例如由基站、用于检查和控制基站的设备以及其它网络端的设备组成的网络基本结构。除了这些松散组织的(超局部)、蜂窝状分层无线网络之外，还存在无线的局域网(WLAN)，该无线局域网具有通常在地域上明显受到更强限制的无线覆盖范围。
在通信系统中传输的信息的例子是图像或视频，其中视频涉及图像序列。由于传输图像或视频数据所需要的数据率很大，因此尤其是在无线通信系统中采用适用于图像或视频数据的编码方法。在此合适的是采用可伸缩的信息，其中在传输可伸缩信息时传输基本信息，另外还传输对基本信息加以补充的信息。由此可伸缩数据具有以下特性：该数据可以在接收器中以降低的质量存在，其中接收器只对基本信息解码或对基本信息和补充信息的一部分解码，而不是对基本信息和所有补充信息解码。图像或视频数据的可伸缩性可以涉及多个伸缩维度，例如涉及单张图像的空间分辨率。
发明内容
本发明要解决的技术问题是提供一种用于处理和发送或接收数据的有效方法。此外还应当提供用于执行该方法的合适的装置。
该技术问题通过具有权利要求1的特征的方法，以及通过具有并列权利要求的特征的方法和装置解决。优选实施方式和扩展是从属权利要求的内容。
根据本发明用于处理和发送数据的第一方法，在发送器端图像的图像数据以第一分辨率级和比第一分辨率级高的第二分辨率级存在。确定至少一个插值参数，用于通过插值从第一分辨率级的图像数据中确定第二分辨率级的图像数据。发送第一和第二分辨率级的至少一些图像数据，其中对第二分辨率级的图像数据的发送取决于至少一个特定的插值参数。此外，还发送关于该至少一个特定插值参数的说明。
所处理的数据优选是视频数据，即图像组成的序列。一张图像可以通过很多图像数据表示，在此尤其可以是给该图像的各个像素赋值的数字值。在优选为视频或图像编码器的发送器中，图像数据至少以第二分辨率存在。分辨率级描述了图像的图像点数量，较高分辨率级的特征是比较低分辨率级具有更多的图像点。
在发送器端确定至少一个插值参数。在采用该至少一个插值参数的条件下，可以通过插值从第一分辨率级的图像数据中确定第二分辨率级的图像数据。所述至少一个插值参数给出以下规则或者规则的具体形式：通过该规则可以从第一分辨率级的图像数据中确定第二分辨率级的图像数据。在此除了至少一个插值参数和第一分辨率级的图像数据之外还将其它参数用于确定第二分辨率级的图像数据，即通过插值确定的第二分辨率级的图像数据不必只从第一分辨率级的图像数据中确定。至少一个插值参数可以涉及第二分辨率级的整个图像，但是该至少一个插值参数也可以只用于确定第二分辨率级的图像的一个区域的图像数据。其它区域的图像数据例如通过其它插值参数确定，或者在不采用插值参数的条件下发送。
在确定至少一个插值参数之后，发送第二分辨率级的图像数据的至少一部分。在此，发送器考虑所述至少一个特定的插值参数，优选其中不发送可以在采用该至少一个特定插值参数的条件下通过插值来确定的图像数据。待发送的第二分辨率级的图像数据的范围和组成因此取决于该至少一个特定插值参数。
图像数据的发送和至少一个特定插值参数的说明优选通过无线电进行，但是也可以采用其它传输技术。优选的是，图像数据和至少一个特定插值参数的说明都在一个共同的消息中发送，可替换的，可以使用分开的消息来一方面传送图像数据，而另一方面传送至少一个特定插值参数的说明。
在本发明的扩展中，确定所述至少一个插值参数包括从多个插值参数中进行选择，其中在该选择时考虑在采用该至少一个插值参数的条件下确定的第二分辨率级的图像数据的质量。所述至少一个插值参数的选择可以根据算法进行，例如根据速率失真优化。
在本发明用于接收和处理数据的第一方法中，在接收器端所接收的图像的图像数据以第一分辨率级存在。确定至少一个插值参数，用于通过插值从第一分辨率级的图像数据中确定比第一分辨率级更高的第二分辨率级的图像数据。这样确定所述至少一个插值参数，其中对所接收的该至少一个插值参数的说明进行分析。所述至少一个插值参数用于从第一分辨率的图像数据中确定第二分辨率级的图像数据。
上面提到的涉及用于发送和处理数据的第一方法的所有实施方式都可以转用于本发明用于接收和处理数据的第一方法。
在本发明的实施方式中，所述至少一个插值参数的说明包括仅涉及该至少一个插值参数的信息。
根据本发明用于处理和发送数据的第二方法，在发送器端图像的图像数据以第一分辨率级和比第一分辨率级高的第二分辨率级存在。确定至少一个插值参数，用于通过插值从第一分辨率级的图像数据中确定第二分辨率级图像的第一区域的图像数据。这样确定该至少一个插值参数，其中对涉及第二图像分辨率级图像的至少一个不同于第一区域的第二区域的信息和/或涉及第一分辨率级图像的至少一个区域的信息进行分析。发送第一和第二分辨率级的至少一些图像数据，其中对第二分辨率级的图像数据的发送取决于至少一个特定的插值参数。
上面涉及本发明用于处理和发送数据的第一方法的一般实施方式可转用于本发明用于处理和发送数据的第二方法。
为了确定至少一个插值参数，根据本发明用于处理和发送数据的第二方法，对不涉及所考察的第二分辨率级图像的第一区域的信息进行分析，所述至少一个插值参数就用于所考察的第一区域。该信息可以涉及第二分辨率图像的一个或多个其它区域。附加或替换的，所述信息可以涉及第一分辨率级图像的一个或多个区域，即涉及第一分辨率级的第一区域和/或涉及第一分辨率级的一个或多个其它区域。
根据本发明用于接收和处理数据的第二方法，在接收器端所接收的图像的图像数据以第一分辨率级存在。确定至少一个插值参数，用于通过插值从第一分辨率级的图像数据中确定第二分辨率级图像的第一区域的图像数据。这样确定该至少一个插值参数，其中对涉及第二图像分辨率级图像的至少一个不同于第一区域的第二区域的信息和/或涉及第一分辨率级图像的至少一个区域的信息进行分析。所述至少一个插值参数用于从第一分辨率级的图像数据中确定第二分辨率级图像的第一区域的图像数据。
上面涉及本发明用于处理和发送数据的第二方法的一般实施方式可转用于本发明用于接收和处理数据的第二方法。
优选的，所述涉及第二图像分辨率级图像的至少一个第二区域的信息和/或涉及第一分辨率级图像的至少一个区域的信息包括：
·用于第二图像分辨率级图像的至少一个第二区域的和/或用于第一分辨率级图像的至少一个区域的插值参数，和/或
·用于根据第二分辨率级的至少一个第二区域的解码结果来对第二分辨率级的第一区域进行编码和/或解码的信息，例如内编码模式，和/或
·第二分辨率级的至少一个第二区域的块大小和/或第一分辨率级的至少一个区域的块大小，例如用于运动估计和/或用于运动补偿的块大小，或用于将图像数据变换到频域的块大小，和/或
·涉及对第二分辨率级的至少一个第二区域进行编码和/或解码的信息和/或对第一分辨率级的至少一个区域进行编码和/或解码的信息，如块模式。
在本发明的实施方式中，图像是视频数据的组成部分，并且为了确定至少一个插值参数，除了涉及第二分辨率级图像的至少一个第二区域的信息和/或涉及第一分辨率级图像的至少一个区域的信息之外，还采用关于该图像和至少一幅其它图像之间的时间相关的信息。
此外本方法包括至少一个具有用于在图像区域边缘上插值的规则的插值参数。用于在图像区域边缘上插值的规则优选要说明为了在图像区域边缘上插值，图像数据应当如何继续。
所述至少一个插值参数尤其可以包括滤波方法，其特征例如在于滤波器长度和滤波器加权，和/或图像区域大小。
优选的，有时采用本发明用于处理和发送数据的第一方法，有时采用本发明用于处理和发送数据的第二方法，或者对于一个或多个插值参数来说采用本发明用于处理和发送数据的第一方法，对于一个或多个其它插值参数来说采用本发明用于处理和发送数据的第二方法。对于本发明用于接收和处理数据的方法也是如此。
本发明的发送器和接收器尤其适用于执行本发明的方法，其中这可以涉及所述实施方式和扩展。为此它们可以具有其它合适的装置。本发明的发送器和接收器可以通过多个彼此连接的装置实现。
附图说明
下面借助实施例详细解释本发明。在此：
图1示出无线通信系统的一段，
图2示意性示出插值方法，
图3示出图像划分为块。
具体实施方式
图1示出无线通信系统的一段，该系统包括编码器ENCODER和解码器DECODER。编码器ENCODER对视频数据VIDEO编码，以便由此通过无线电将该视频数据作为可伸缩的视频数据SCLABLE VIDEO STREAM发送给解码器DECODER。虽然下面假定编码器ENCODER和解码器DECODER之间的传输通过无线电进行，而本发明也可用于其它传输技术。在对视频序列VIDEO进行可伸缩编码时，执行下面描述的步骤，以通过可伸缩视频数据SCLABLE VIDEO STREAM同时传输视频数据VIDEO的图像的多个空间分辨率级，而不必以这些不同的分辨率级多重地传输信息：
首先视频序列VIDEO的原始图像在图1中例如以4CIF(4倍普通中间格式，其相当于具有704×576个图像点的图像大小)的大小被不足扫描和/或低通滤波，以便产生较低分辨率级和/或图像大小的图像，在图1中即CIF(普通中间格式，其相当于具有352×288个图像点的图像大小)和QCIF(四分之一普通中间格式，其相当于具有176×144个图像点的图像大小)。
4CIF、CIF和QCIF的视频序列都在编码步骤中彼此分离地接受编码。为了避免相同或相似信息的多次传输，并由此提高编码效率，预测下个较低分辨率级的所编码的元素，例如运动向量、像素值、模式信息如块模式、分辨率级。也就是说，从分辨率QCIF的已编码的元素中计算出分辨率级CIF的已编码元素，从分辨率CIF的已编码的元素中计算出分辨率级4CIF的已编码元素。在预测图像的像素值时采用插值，其中从较低分辨率级的相同图像的像素值来确定下个较高分辨率级的像素值。
所预测的值用于在发送器端确定哪些数据必须传送给解码器DECODER。也就是说，可伸缩视频数据SCLABLE VIDEO STREAM不包含基于编码所产生的全部4CIF和CIF视频序列，而是包含所编码的4CIF和CIF数据的一个较小的范围，因为解码器DECODER可以通过预测确定不传送的数据。编码器ENCODER由此对每张图像和该图像的每个分辨率级都确定一个插值方法，并根据所采用的插值方法来选择要发送给解码器DECODER的、涉及该图像和该分辨率级的数据。根据接收器端的质量要求和终端设备的能力，解码器DECODER可以提取出可伸缩视频数据SCLABLE VIDEO STREAM的分辨率级，必要时丢弃或不解码不需要的、较高分辨率级的信息。
在插值时必须从现有的像素值、即较低分辨率级图像的像素值中确定新的像素值，即较高分辨率级的相同图像的像素值。这通常是借助滤波来进行的，其中对图像的二维滤波优选为了降低计算代价而分为两个一维滤波，即分为水平滤波和垂直滤波。这两个滤波可以先后计算。在图2中示出一个一维滤波，其中在该示例中图像的大小加倍。图2的上面一行的圆圈对应于较低分辨率级图像的图像点。较低分辨率级的像素位置首先增加了值为0的中间像素位置，在中间的行中通过圆圈中的0表示。在滤波时像素值与滤波器加权相乘并相加，该滤波器加权在图2中是-1/16、0、9/16、16/16、9/16、0和-1/16。通过将较低分辨率级图像的加权的像素值相加，分别产生了较高分辨率级图像的一个像素值，在图2下面一行中通过叉表示。对较高分辨率级的每个像素重复该过程，其中将滤波器加权分别推移一个位置。在图2的滤波器加权的示例中，对于较低分辨率级图像的各位置上的像素来说，将较低分辨率级的像素值放入较高分辨率级的图像中。
图2示出4分支(tab)的滤波。数字4在此表示所采用的滤波器加权的数量，该滤波器加权在该具体示例中是数字-1/16、9/16、9/16和-1/16。滤波器的其它示例是2分支滤波器，例如具有滤波器加权1/2和1/2，以及6分支滤波器，例如具有滤波器加权1/32、-5/32、20/32、20/32、-5/32、和1/32。
所描述的插值可以在整个图像区域上进行。但是也可以将图像分为多个区域并对每个区域计算滤波。图3示例性示出一幅图像的一个16×16区域的划分：该区域按照左边的第二图分为两个相同大小的16×8块，按照左边的第三图分为两个相同大小的8×16块，按照右边的图分为一个8×8块、两个8×4块、两个4×8块和四个4×4块。
在一幅图像或一个块的边缘上可能存在计算滤波所需要的、该图像或块之外的像素。一种作为恒定边缘扩展而公知的用于消除该问题的方法在于，对于位于所考察的区域之外的像素采用图像边缘上的像素值。在另一个作为镜像(Mirroring)公知的方法中，反射图像或块边缘上的像素值，并将该通过反射产生的像素用于计算滤波。
根据现有技术，例如描述在H.Schwarz，T.Hinz，D.Marpe，T.Wiegand：“Further improvements of the HHI proposal for SVCCE 1”M11398，Palma，Spanien，2004年10月中的那样，编码器根据通过不同图像的时间相关性确定的图像类型，采用特定的、接收器知道的插值方法。
按照本发明，编码器ENCODER为每幅图像和该图像的每个分辨率级都选择合适的插值参数。这些插值参数是滤波器、图像大小和用于产生图像和/或块边缘上的像素值的规则。这些参数的具体示例已在上面描述，还可以采用其它实施方式。编码器ENCODER除了所述的插值参数之外还可以选择其它可在插值时使用的参数。插值参数的选择是适应性的，也就是说插值参数取决于待处理的各图像或图像区域。对特定的图像类型来说原则上不采用相同的插值参数。而是对相同的图像类型来说随着要发送的具体图像而灵活改变所使用的插值参数。
为了选择合适的插值参数，优选执行速率失真优化，即编码器ENCODER对采用不同的插值参数产生的图像的质量进行比较，并参照在采用这些插值参数的条件下无线传送图像所需要的数据率来设置。采用在合适的数据率时给出最好的图像或在给定图像质量时需要最低数据率的插值参数。与插值参数刚性不变的现有技术相比，由此在无线传输的数据率相同或更低时达到更高的质量或者在数据率更高时达到过比例提高的质量。
解码器DECODER必须了解由编码器ENCODER采用的插值参数，以便从接收的某个分辨率级的图像数据中通过插值获得下个更高分辨率级的图像数据。为此编码器ENCODER可以明确告知解码器DECODER由编码器采用的插值参数。在明确的告知时，将插值参数作为侧面信息(Seiteninformation)传送给解码器DECODER。这可以与按照现有技术采用的语法元素无关地进行。优选地扩展按照现有技术采用的语法元素，如通过引入新的块模式。由此在明确的告知时从编码器ENCODER发送只用于说明待使用的插值参数的信息元素。解码器DECODER可以从该信息元素中明确和直接地取出待使用的插值参数。
替换或附加于明确告知地，解码器DECODER可以从其它信息中获得待使用的插值参数：
-为了确定用于特定图像区域的插值参数可以采用其它图像区域：
·采用其它块的插值参数：用于图像的某个块的插值参数可以从同一图像的一个或多个其它块的插值参数中计算出来。通过这种方式例如编码器ENCODER明确地向解码器DECODER告知图像的至少一个块的插值参数，然后解码器DECODER将该插值参数用于计算同一图像的其它块的插值参数。
·采用内编码模式：利用该内编码模式，编码器ENCODER通知解码器DECODER图像的一个或多个块的解码结果要用于对同一图像的另一个块解码。这可以转用于不同块的插值参数，从而例如在内编码模式向解码器DECODER展示图像的第一块的解码结果要用于计算同一图像的第二块的解码结果时，解码器DECODER采用第一块的插值参数作为第二块的插值参数。
-除了上面提到的参数之外，可以将关于不同图像的时间相关性的信息用于确定插值参数：
·用于运动估计和运动补偿待编码区域的块大小，
·用于运动估计和运动补偿同一图像的相邻的已编码区域或其它已编码区域的块大小，
·变换为(即用于将图像点转换到频域)同一图像的待编码区域或其它区域的较低分辨率级的块大小，
·相邻区域和待编码区域的较低分辨率级的块模式，
·预测模式。
为了确定插值参数可以采用上面提到的参数的组合。由此在上面描述的隐含的告知中，解码器DECODER接收不涉及当前考察的图像区域的插值参数的信息。解码器DECODER将该信息用于确定插值参数。如果没有向解码器DECODER明确地告知该信息，则编码器ENCODER和解码器DECODER必须采用相同的确定规则来从为此采用的信息中确定插值参数。如果例如采用用于隐含地告知插值参数的内编码模式，则编码器ENCODER从传送给解码器DECODER的内编码模式中获得该插值参数，并在选择要发送给解码器DECODER的图像数据时使用该插值参数。解码器DECODER知道从该内编码模式中获得插值参数的规则，从而解码器与编码器ENCODER使用相同的插值参数。
插值参数可以彼此依赖。从而例如有利的是在区域/块大小较小时采用短的滤波器。如果在不同的插值参数之间存在依赖性，则不必在明确的告知时通知所有插值参数。还可以固定地保持一个或多个插值参数，从而只需要向解码器DECODER告知其它插值参数的结构，或者只需要由解码器DECODER确定其它插值参数的结构。
所介绍的两种方法的组合是有利的，即插值参数的明确告知和隐含告知，也就是通过解码器DECODER从其它信息中确定插值参数。通过由解码器DECODER确定插值参数，减少所需要的侧面信息的数量，从而可以有更多的无线资源用于传送有用信息。如果由于在隐含告知时从其它信息中确定插值参数的规则而通过缺少插值参数导致质量损失，则可以明确告知插值参数，以提高速率失真优化中的质量。

Claims (12)

1.一种用于处理和发送数据的方法，其中在发送器端图像的图像数据以第一分辨率级和比第一分辨率级高的第二分辨率级存在，
确定至少一个插值参数，用于通过插值从第一分辨率级的图像数据中确定第二分辨率级的图像数据，使得所述至少一个插值参数的确定包括从多个插值参数中进行选择，其中在该选择时考虑在采用该至少一个插值参数的条件下确定的第二分辨率级的图像数据的质量，
发送第一分辨率级和第二分辨率级的图像数据，使得不发送在采用所确定的至少一个插值参数的条件下能通过插值获得的第二分辨率级的图像数据，
所述至少一个插值参数包括用于在图像区域边缘上插值的规则，其中该规则说明为了在图像区域边缘上插值，图像数据应当如何继续，
发送关于所确定的至少一个插值参数的说明。
2.一种用于接收和处理数据的方法，其中在接收器端所接收的图像的图像数据以第一分辨率级存在，
确定至少一个插值参数，用于通过插值从第一分辨率级的图像数据中确定比第一分辨率级更高的第二分辨率级的图像数据，
这样确定所述至少一个插值参数，即对所接收的该至少一个插值参数的说明进行分析，
所述至少一个插值参数包括用于在图像区域边缘上插值的规则，其中该规则说明为了在图像区域边缘上插值，图像数据应当如何继续，
所确定的至少一个插值参数用于从第一分辨率级的图像数据中确定第二分辨率级的图像数据。
3.一种用于处理和发送数据的方法，其中在发送器端图像的图像数据以第一分辨率级和比第一分辨率级高的第二分辨率级存在，
确定至少一个插值参数，用于通过插值从第一分辨率级的图像数据中确定第二分辨率级图像的第一区域的图像数据，
这样确定该至少一个插值参数，即对涉及第二分辨率级图像的至少一个不同于第一区域的第二区域的信息和/或涉及第一分辨率级图像的至少一个区域的信息进行分析，
所述至少一个插值参数包括用于在图像区域边缘上插值的规则，其中该规则说明为了在图像区域边缘上插值，图像数据应当如何继续，
发送第一分辨率级和第二分辨率级的图像数据，使得不发送在采用所确定的至少一个插值参数的条件下能通过插值获得的第二分辨率级的图像数据。
4.一种用于接收和处理数据的方法，其中在接收器端所接收的图像的图像数据以第一分辨率级存在，
确定至少一个插值参数，用于通过插值从第一分辨率级的图像数据中确定比第一分辨率级高的第二分辨率级图像的第一区域的图像数据，
这样确定该至少一个插值参数，即对涉及第二分辨率级图像的至少一个不同于第一区域的第二区域的信息和/或涉及第一分辨率级图像的至少一个区域的信息进行分析，
所述至少一个插值参数包括用于在图像区域边缘上插值的规则，其中该规则说明为了在图像区域边缘上插值，图像数据应当如何继续，
所确定的至少一个插值参数用于从第一分辨率级的图像数据中确定第二分辨率级图像的第一区域的图像数据。
5.根据权利要求3或4所述的方法，其中所述涉及第二分辨率级图像的至少一个第二区域的信息和/或涉及第一分辨率级图像的至少一个区域的信息包括：
·用于第二分辨率级图像的至少一个第二区域的和/或用于第一分辨率级图像的至少一个区域的插值参数，和/或
·用于根据第二分辨率级图像的至少一个第二区域的解码结果来对第二分辨率级图像的第一区域进行编码和/或解码的信息，和/或
·第二分辨率级图像的至少一个第二区域的块大小和/或第一分辨率级图像的至少一个区域的块大小，和/或
·涉及对第二分辨率级图像的至少一个第二区域进行编码和/或解码的信息和/或对第一分辨率级图像的至少一个区域进行编码和/或解码的信息。
6.根据权利要求5所述的方法，其中所述第二分辨率级图像的至少一个第二区域的块大小和/或第一分辨率级图像的至少一个区域的块大小包括：
·用于运动估计和/或用于运动补偿的块大小，和/或
·用于将图像数据变换到频域的块大小。
7.根据权利要求3或4所述的方法，其中所述图像是视频数据的组成部分，并且为了确定至少一个插值参数，采用关于该图像和至少一幅其它图像之间的时间相关的信息。
8.根据权利要求1至4中任一项所述的方法，其中所述至少一个插值参数包括滤波方法和/或图像区域大小。
9.一种用于处理和发送数据的发送器，具有
确定至少一个插值参数，以用于通过插值从第一分辨率级的图像数据中确定比第一分辨率级更高的第二分辨率级图像的图像数据的装置，使得所述至少一个插值参数的确定包括从多个插值参数中进行选择，其中在该选择时考虑在采用该至少一个插值参数的条件下确定的第二分辨率级的图像数据的质量，其中所述至少一个插值参数包括用于在图像区域边缘上插值的规则，其中该规则说明为了在图像区域边缘上插值，图像数据应当如何继续，
根据所确定的至少一个插值参数来选择要发送的第二分辨率级的图像数据的装置，
发送第一分辨率级和第二分辨率级的图像数据的装置，其中不发送在采用所确定的至少一个插值参数的条件下能通过插值获得的第二分辨率级的图像数据，
发送关于所确定的至少一个插值参数的说明的装置。
10.一种用于处理和发送数据的装置，具有
确定至少一个插值参数，以用于通过插值从第一分辨率级的图像数据中确定比第一分辨率级更高的第二分辨率级图像的第一区域的图像数据的装置，其中
-这样确定该至少一个插值参数，即对涉及第二分辨率级图像的至少一个不同于第一区域的第二区域的信息和/或涉及第一分辨率级图像的至少一个区域的信息进行分析，
-所述至少一个插值参数包括用于在图像区域边缘上插值的规则，其中该规则说明为了在图像区域边缘上插值，图像数据应当如何继续，
根据所确定的至少一个插值参数选择要发送的第二分辨率级的图像数据的装置，
发送第一分辨率级和第二分辨率级的图像数据的装置，其中不发送在采用至少一个所确定的插值参数的条件下可以通过插值获得的第二分辨率级的图像数据。
11.一种用于接收和处理数据的接收器，具有
接收第一分辨率级图像的图像数据的装置，
确定至少一个插值参数，以用于通过插值从第一分辨率级的图像数据中确定比第一分辨率级更高的第二分辨率级图像的图像数据的装置，其中这样确定所述至少一个插值参数，即对所接收的该至少一个插值参数的说明进行分析，其中所述至少一个插值参数包括用于在图像区域边缘上插值的规则，其中该规则说明为了在图像区域边缘上插值，图像数据应当如何继续，
采用所述至少一个插值参数用于从第一分辨率级的图像数据中确定第二分辨率级的图像数据的装置。
12.一种用于接收和处理数据的接收器，具有
接收第一分辨率级图像的图像数据的装置，
确定至少一个插值参数，以用于通过插值从第一分辨率级的图像数据中确定比第一分辨率级更高的第二分辨率级图像的第一区域的图像数据的装置，其中
-这样确定该至少一个插值参数，即对涉及第二分辨率级图像的至少一个不同于第一区域的第二区域的信息和/或涉及第一分辨率级图像的至少一个区域的信息进行分析，
-所述至少一个插值参数包括用于在图像区域边缘上插值的规则，其中该规则说明为了在图像区域边缘上插值，图像数据应当如何继续，
采用所确定的至少一个插值参数以用于从第一分辨率级的图像数据中确定第二分辨率级图像的第一区域的图像数据的装置。
CN2006800209364A 2005-04-12 2006-03-30 在图像编码或视频编码中的适应性插值 Active CN101194514B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102005016827A DE102005016827A1 (de) 2005-04-12 2005-04-12 Adaptive Interpolation bei der Bild- oder Videokodierung
DE102005016827.2 2005-04-12
PCT/EP2006/061168 WO2006108765A1 (de) 2005-04-12 2006-03-30 Adaptive interpolation bei der bild- oder videokodierung

Publications (2)

Publication Number Publication Date
CN101194514A CN101194514A (zh) 2008-06-04
CN101194514B true CN101194514B (zh) 2011-07-06

Family

ID=36763188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800209364A Active CN101194514B (zh) 2005-04-12 2006-03-30 在图像编码或视频编码中的适应性插值

Country Status (7)

Country Link
US (1) US8270489B2 (zh)
EP (1) EP1869889A1 (zh)
JP (2) JP5069218B2 (zh)
KR (1) KR101303222B1 (zh)
CN (1) CN101194514B (zh)
DE (1) DE102005016827A1 (zh)
WO (1) WO2006108765A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005016827A1 (de) * 2005-04-12 2006-10-19 Siemens Ag Adaptive Interpolation bei der Bild- oder Videokodierung
US20110002391A1 (en) * 2009-06-11 2011-01-06 Motorola, Inc. Digital image compression by resolution-adaptive macroblock coding
JP5639436B2 (ja) * 2010-10-18 2014-12-10 株式会社メガチップス 画像処理装置、および画像処理装置の動作方法
US8761543B2 (en) * 2011-08-30 2014-06-24 Microsoft Corporation Image processing using bounds adjustment
US9313495B2 (en) 2012-05-14 2016-04-12 Luca Rossato Encoding and decoding based on blending of sequences of samples along time
AU2013261845A1 (en) 2012-05-14 2014-12-11 Guido MEARDI Encoding and reconstruction of residual data based on support information
US20160241882A1 (en) * 2013-10-11 2016-08-18 Sony Corporation Image processing apparatus and image processing method
FR3109685A1 (fr) * 2020-04-22 2021-10-29 Orange Procédés et dispositifs de codage et de décodage d'une séquence vidéo multi-vues

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5663764A (en) * 1993-09-30 1997-09-02 Sony Corporation Hierarchical encoding and decoding apparatus for a digital image signal
CN1189954A (zh) * 1995-06-29 1998-08-05 汤姆森多媒体公司 对数据进行划分和编码的方法
CN1390061A (zh) * 1996-11-12 2003-01-08 松下电器产业株式会社 数字图像编码方法和装置、解码方法和装置及存储媒体
US6782143B1 (en) * 1999-12-30 2004-08-24 Stmicroelectronics, Inc. Method and apparatus for processing an image

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0211079A (ja) * 1988-06-29 1990-01-16 Nec Corp 画像信号帯域圧縮方式
JPH0211078A (ja) * 1988-06-29 1990-01-16 Nec Corp 画像信号帯域圧縮方式
JPH0410768A (ja) * 1990-02-19 1992-01-14 Canon Inc サブサンプリング復号装置
US5546130A (en) * 1993-10-11 1996-08-13 Thomson Consumer Electronics S.A. Method and apparatus for forming a video signal using motion estimation and signal paths with different interpolation processing
JP3758211B2 (ja) 1994-07-19 2006-03-22 ソニー株式会社 ディジタル画像信号の階層符号化装置および方法、並びに復号装置および方法
JP3540447B2 (ja) 1995-07-20 2004-07-07 三洋電機株式会社 動画像符号化装置及び復号装置
JP3748088B2 (ja) 1996-07-17 2006-02-22 ソニー株式会社 画像処理装置および方法、並びに学習装置および方法
KR100252194B1 (ko) * 1997-10-10 2000-04-15 박호군 참당귀에서분리한신규한펙틴질다당류와그분리정제방법및그의면역증강제로서의용도
US6591398B1 (en) 1999-02-12 2003-07-08 Sony Corporation Multiple processing system
KR100360893B1 (ko) * 2001-02-01 2002-11-13 엘지전자 주식회사 영상 움직임 보상 장치 및 방법
KR100783396B1 (ko) * 2001-04-19 2007-12-10 엘지전자 주식회사 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법
JP4129374B2 (ja) 2001-09-18 2008-08-06 松下電器産業株式会社 画像符号化方法および画像復号化方法
EP1442601A1 (en) * 2001-10-26 2004-08-04 Koninklijke Philips Electronics N.V. Method and appartus for spatial scalable compression
JP4120301B2 (ja) * 2002-04-25 2008-07-16 ソニー株式会社 画像処理装置およびその方法
DE102004041664A1 (de) * 2004-08-27 2006-03-09 Siemens Ag Verfahren zum Codieren und Decodieren, sowie Codier- und Decodiervorrichtung zur Videocodierung
KR100888963B1 (ko) * 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
DE102005016827A1 (de) * 2005-04-12 2006-10-19 Siemens Ag Adaptive Interpolation bei der Bild- oder Videokodierung

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5663764A (en) * 1993-09-30 1997-09-02 Sony Corporation Hierarchical encoding and decoding apparatus for a digital image signal
CN1189954A (zh) * 1995-06-29 1998-08-05 汤姆森多媒体公司 对数据进行划分和编码的方法
CN1390061A (zh) * 1996-11-12 2003-01-08 松下电器产业株式会社 数字图像编码方法和装置、解码方法和装置及存储媒体
US6782143B1 (en) * 1999-12-30 2004-08-24 Stmicroelectronics, Inc. Method and apparatus for processing an image

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CN 1390061 A,全文.

Also Published As

Publication number Publication date
JP5069218B2 (ja) 2012-11-07
US8270489B2 (en) 2012-09-18
DE102005016827A1 (de) 2006-10-19
JP2008536417A (ja) 2008-09-04
US20090232212A1 (en) 2009-09-17
JP2012010388A (ja) 2012-01-12
KR20080006606A (ko) 2008-01-16
CN101194514A (zh) 2008-06-04
KR101303222B1 (ko) 2013-09-04
EP1869889A1 (de) 2007-12-26
JP5404715B2 (ja) 2014-02-05
WO2006108765A1 (de) 2006-10-19

Similar Documents

Publication Publication Date Title
CN101194514B (zh) 在图像编码或视频编码中的适应性插值
CN1513268B (zh) 编码方法、译码方法、编码装置、译码装置和图象处理系统
US20070217502A1 (en) Switched filter up-sampling mechanism for scalable video coding
US20080175315A1 (en) Picture coding method and picture decoding method
EP1575301A2 (en) V ideo transcoding method and apparatus
CN101099389B (zh) 用于处理可缩放数据的方法和装置
CN101755458A (zh) 可缩放视频编码
CN109587479A (zh) 视频图像的帧间预测方法、装置及编解码器
CN103181169A (zh) 使用联合上下文模型对系数进行熵译码
KR102524541B1 (ko) 비디오 코딩에서 인트라 예측을 위한 시스템 및 방법
CN103477638A (zh) 用于视频译码的变换系数的译码
CN102342101A (zh) 用于在视频译码中进行内插滤波、环路内滤波和环路后滤波的组合方案
CN102835106A (zh) 用于视频的数据压缩
ZA200205506B (en) A method for encoding images, and an image coder.
KR102604775B1 (ko) 움직임 정보의 부호화 장치 및 방법, 및 복호화 장치 및 방법
CN102318342A (zh) 系数数目减少的多变换块联合编码
US8542735B2 (en) Method and device for coding a scalable video stream, a data stream, and an associated decoding method and device
CN101360240B (zh) 编码方法、译码方法、编码装置、译码装置、图象处理系统
US9819934B2 (en) Methods and devices for encoding and decoding at least one image implementing a selection of pixels to be predicted, and corresponding computer program
FI90179C (fi) Foerfarande foer kompressering av en videobild, som kodats digitaliskt
Choi et al. Analysis of distortion due to packet loss in streaming video transmission over wireless communication links
US20040028130A1 (en) Video encoder
CN101919251B (zh) 一种运动编码和解码
Jun et al. Low complexity based ultra-high quality video compression method for multimedia-centric internet of things (IoT) services
JP2012134821A (ja) 画像符号化装置、画像符号化方法および画像符号化プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant