CN1875634A - 编码视频信号的方法 - Google Patents

编码视频信号的方法 Download PDF

Info

Publication number
CN1875634A
CN1875634A CNA2004800322033A CN200480032203A CN1875634A CN 1875634 A CN1875634 A CN 1875634A CN A2004800322033 A CNA2004800322033 A CN A2004800322033A CN 200480032203 A CN200480032203 A CN 200480032203A CN 1875634 A CN1875634 A CN 1875634A
Authority
CN
China
Prior art keywords
frame
segmentations
segmentation
produce
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004800322033A
Other languages
English (en)
Inventor
P·威林斯基
C·瓦雷坎普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1875634A publication Critical patent/CN1875634A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供一种编码包括图像序列的视频信号以便产生相应的已编码视频数据的方法。该方法包括以下步骤：(a)分析所述图像以便识别其中的一个或多个图像分段；(b)识别所述一个或多个分段当中的实质上不是空间随机特性的那些分段，并且以确定性的方式对其进行编码以便产生第一已编码中间数据；(c)识别所述一个或多个分段当中的实质上是空间随机特性的那些分段，并且通过一个或多个相应的随机模型参数对其进行编码，以便产生第二已编码中间数据；以及(d)合并该第一和第二中间数据以便产生所述已编码视频数据。

Description

编码视频信号的方法
技术领域
本发明涉及编码视频信号的方法；特别地但是不排他地，本发明涉及一种编码视频信号的方法，其利用图像分段以便将视频图像细分为相应的分段，并且将随机纹理模型应用于所选择的分段的子组以便产生已编码的和/或已压缩的视频数据。另外，本发明还涉及解码根据本发明编码的视频信号的方法。此外，本发明还涉及根据上述一种或多种方法操作的编码器、解码器和编码/解码系统。另外，本发明还涉及承载由根据本发明的上述编码视频数据的方法产生的编码数据的数据载体。
背景技术
编码及相应地解码图像信息的方法已经是多年公知的了。这样的方法在DVD、移动电话数字图像传输、数字有线电视和数字卫星电视领域中是很重要的。因此，存在多种编码及相应的解码技术，它们中的一些已经成为国际上承认的标准(诸如MPEG-2)。
最近几年，新的国际电信联盟(ITU)标准(也就是ITU-T标准)已经出现了，该新的标准被称为H.26L。由于与同时代建立的相应标准相比能够提供较高的编码效率，因此该新标准现在已经被广泛地承认。在最近的评估中已经证明，与早先的同时代建立的图像编码标准相比，新的H.26L标准能够以大约少50％的编码数据比特达到可比较的信噪比(S/N)。
虽然由新标准H.26L所提供的优势通常与图像图片尺寸(也就是其中的图像像素的数量)成比例地降低，但是在多种应用中采用新标准H.26L的潜力还是毫无疑问的。这样的潜力已经通过联合视频组(JVT)的形成而被确认了，联合视频组(JVT)的责任是把将由ITU-T采用的标准H.26L发展为新的联合ITU-T/MPEG标准。该新标准预计在2003年作为ITU-T H.264或ISO/IEC MPEG-4AVC被正式认可；这里的“AVC”是“高级视频编码”的缩写。目前，H.264标准也被其它的标准化团体考虑，例如“DVB和DVD论坛”。此外，H.264编码器和解码器的软件和硬件实施也正变得可用。
此外还已经知道其它形式的视频编码和解码。例如，在美国专利第5,917,609号中描述了一种混合的波形和基于模型的图像信号编码器和相应的解码器。在该编码器和相应的解码器中，原始图像信号被波形编码以及解码，以便在压缩后尽可能接近原始信号的波形。为了补偿其损失，信号的噪声分量(也就是由于波形编码而损失的信号分量)被基于模型地编码并被分开传送或存储。在解码器中，噪声被再生并且被添加到经过波形解码的图像信号上。在该美国专利第5,917,609号中说明的编码器和解码器尤其与医学X射线血管造影术图像的压缩有关，在该压缩中的噪声损失导致心脏科医师或放射科医师推断出相应的图像是失真的。然而，所描述的编码器和相应的解码器应被看作是专家的实现方式，其不必遵循任何已建立的或新兴的图像编码和相应的解码标准。
视频压缩的目的是减少被分配来表示给定可视信息的比特数量。通过使用诸如余弦变换、分形或小波之类的各种变换，已经发现有可能识别出可以用来表示视频信号的新的、更有效的方法。然而，本发明的发明人已经意识到存在两种表示视频信号的方法，也就是确定性的方法和随机的方法。图像中的纹理适于随机地表示，并且可以通过找到最相象的噪声模型来实施。对于视频图像的一些区域，人类视觉不集中在填充所述区域的精确图案细节上；相反，视觉更多地集中在纹理的某些非确定性的方向性特征上。对于纹理的常规的随机描述(例如在医学图像处理应用中以及在气象学中的卫星图像处理应用中)已经集中在对清晰的随机特性的图像压缩上，例如云的形成。
本发明的发明人已经意识到，同时代的编码方案(例如H.264标准、MPEG-2标准、MPEG-4标准)以及新的视频压缩方案(诸如结构化的和/或分层的视频)不能产生如技术上可行的那样多的数据压缩。特别地，本发明的发明人已经意识到，视频数据中的图像的一些区域适于由编码视频数据中的随机纹理模型来描述，尤其是那些具有类似于空间噪声的外观的图像部分。此外，本发明的发明人已经意识到，优选地利用运动补偿和深度分布(depth profile)来确保在对已编码视频数据的随后的解码期间、人工产生的纹理被有说服力地呈现在已解码视频数据中。此外，本发明的发明人已经意识到，他们的方法适于应用在基于分段的视频编码情境中。
从而，本发明的发明人已经解决了在视频数据编码期间出现的增强数据压缩的问题，同时，在随后对这样的已编码和已压缩视频数据进行解码的时候保持了视频质量。
发明内容
本发明的第一个目的是提供一种编码视频信号的方法，其能够在相应于视频信号的已编码视频数据中提供更高程度的数据压缩。
本发明的第二个目的是提供一种空间地模拟视频数据中的随机图像纹理的方法。
本发明的第三个目的是提供一种解码已经使用参数编码的视频数据的方法，所述参数用来空间地描述其中的随机图像内容。
本发明的第四个目的是提供一种用于编码输入视频信号以便产生相应的具有更高程度的压缩的已编码视频数据的编码器。
本发明的第五个目的是提供一种用于解码已经通过随机纹理模拟从视频信号编码的视频数据的解码器。
根据本发明的第一方面，存在一种对包括图像序列的视频信号进行编码以便产生相应的已编码视频数据的方法，该方法包括以下步骤：
(a)分析所述图像以便识别其中的一个或多个图像分段；
(b)识别所述一个或多个分段当中的实质上不是空间随机特性的那些分段，并且以确定性的方式对其进行编码以便产生第一已编码中间数据；
(c)识别所述一个或多个分段当中的实质上是空间随机特性的那些分段，并且通过一个或多个相应的随机模型参数对其进行编码以便产生第二已编码中间数据；以及
(d)合并第一和第二中间数据以便产生已编码视频数据。
本发明的优点在于所述编码方法能够提供更高程度的数据压缩。
优选地，在该方法的步骤(c)中，依赖于在实质上是空间随机特性的一个或多个分段中出现的时间运动的特征，使用第一或第二编码例程来编码所述一个或多个分段，所述第一例程适用于处理其中出现运动的分段，并且所述第二例程适用于处理实质上是时间静态的分段。
将对应于具有可观时间活动性的随机细节的区域与对应于具有相对较小的时间活动性的随机细节的区域进行区分，从而能够实现具有相关的增强数据压缩的更高程度的编码最佳化。
优选地，该方法的不同之处还在于：
(e)在步骤(b)中，使用I帧、B帧和/或P帧来确定性地编码实质上不是空间随机特性的所述一个或多个分段，所述I帧包括确定性地描述所述一个或多个分段的纹理分量的信息，并且所述B帧和/或P帧包括描述所述一个或多个分段的时间运动的信息；以及
(f)在步骤(c)中，使用所述模型参数、B帧和/或P帧来编码包括纹理分量的实质上是随机特性的所述一个或多个分段，所述模型参数描述所述一个或多个分段的纹理，并且所述B帧和/或P帧包括描述所述一个或多个分段的时间运动的信息。
如前所述，I帧应被解释为对应于这样的数据字段，所述数据字段对应于对一个或多个图像的至少一部分的空间布局的描述。此外，B帧和P帧应被解释为对应于描述时间运动和调制深度的数据字段。从而，本发明能够提供更高程度的压缩，因为对应于随机图像细节的I帧适于通过随机模型参数以更紧致的形式来表示，而不需要例如通过变换编码在这些I帧中包括对其相关图像细节的完整的常规描述。
根据本发明的第二方面，提供一种承载使用根据本发明第一方面的方法产生的已编码视频数据的数据载体。
根据本发明的第三方面，提供一种对已编码视频数据进行解码以便重新产生相应的已解码视频信号的方法，该方法包括以下步骤：
(a)接收已编码视频数据并且识别其中的一个或多个分段；
(b)识别所述一个或多个分段当中的实质上不是空间随机特性的那些分段，并且以确定性的方式对其进行解码以便产生第一已解码中间数据；
(c)识别所述一个或多个分段当中的实质上是空间随机特性的那些分段，并且通过由模型参数驱动的一个或多个随机模型对其进行解码以便产生第二已解码中间数据，所述模型参数被包括在所述已编码视频数据输入中；以及
(d)合并该第一和第二中间数据以便产生所述已解码视频信号。
优选地，该方法的不同之处在于：在步骤(c)中，依赖于在实质上是空间随机特性的一个或多个分段中出现的时间运动的特征，使用第一或第二解码例程来解码所述一个或多个分段，所述第一例程适用于处理其中出现运动的分段，并且所述第二例程适用于处理其中实质上是时间静态的分段。
优选地，该方法的不同之处还在于：
(e)在步骤(b)中，使用I帧、B帧和/或P帧来确定性地解码实质上不是空间随机特性的所述一个或多个分段，所述I帧包括确定性地描述所述一个或多个分段的纹理分量的信息，并且所述B帧和/或P帧包括描述所述一个或多个分段的时间运动的信息；以及
(f)在步骤(c)中，使用所述模型参数、B帧和/或P帧来解码包括纹理分量的实质上是随机特性的所述一个或多个分段，所述模型参数描述所述一个或多个分段的纹理，并且所述B帧和/或P帧包括描述所述一个或多个分段的时间运动的信息。
根据本发明的第四方面，提供一种用于编码包括图像序列的视频信号、以便产生相应的已编码视频数据的编码器，该编码器包括：
(a)分析装置，用于分析所述图像以便识别其中的一个或多个图像分段；
(b)第一识别装置，用于识别所述一个或多个分段当中的实质上不是空间随机特性的那些分段，并且以确定性的方式对其进行编码以便产生第一已编码中间数据；
(c)第二识别装置，用于识别所述一个或多个分段当中的实质上是空间随机特性的那些分段，并且通过一个或多个相应的随机模型参数对其进行编码，以便产生第二已编码中间数据；以及
(d)数据合并装置，用于合并该第一和第二中间数据以便产生所述已编码视频数据。
优选地，在该编码器中，该第二识别装置适于依赖于在实质上是空间随机特性的一个或多个分段中出现的时间运动的特征、使用第一或第二编码例程来编码所述一个或多个分段，所述第一例程适用于处理其中出现运动的分段，并且所述第二例程适用于处理其中实质上是时间静态的分段。
优选地，在该编码器中：
(e)所述第一识别装置适于使用I帧、B帧和/或P帧来确定性地编码实质上不是空间随机特性的所述一个或多个分段，所述I帧包括确定性地描述所述一个或多个分段的纹理分量的信息，并且所述B帧和/或P帧包括描述所述一个或多个分段的时间运动的信息；以及
(f)所述第二识别装置适于使用所述模型参数、B帧和/或P帧来编码包括纹理分量的实质上是随机特性的所述一个或多个分段，所述模型参数描述所述一个或多个分段的纹理，并且所述B帧和/或P帧包括描述所述一个或多个分段的时间运动的信息。
优选地，使用电子硬件和可在计算硬件上执行的软件当中的至少一项来实施该编码器。
根据本发明的第五方面，提供一种用于对已编码视频数据进行解码以便重新产生相应的已解码视频信号的解码器，该解码器包括：
(a)分析装置，用于接收已编码视频数据并且识别其中的一个或多个分段；
(b)第一识别装置，用于识别所述一个或多个分段当中的实质上不是空间随机特性的那些分段，并且以确定性的方式对其进行解码以便产生第一已解码中间数据；
(c)第二识别装置，用于识别所述一个或多个分段当中的实质上是空间随机特性的那些分段，并且通过由模型参数驱动的一个或多个随机模型来对其进行解码以便产生第二已解码中间数据，所述模型参数被包括在所述已编码视频数据输入中；以及
(d)合并装置，用于合并该第一和第二中间数据以便产生所述已解码视频信号。
优选地，该解码器的不同之处在于：其被设置成依赖于在实质上是空间随机特性的一个或多个分段中出现的时间运动的特征、使用第一或第二解码例程来解码所述一个或多个分段，所述第一例程适用于处理其中出现运动的分段，并且所述第二例程适用于处理实质上是时间静态的分段。
优选地，该解码器的不同之处还在于：
(e)所述第一识别装置适于使用I帧、B帧和/或P帧来确定性地解码实质上不是空间随机特性的所述一个或多个分段，所述I帧包括确定性地描述所述一个或多个分段的纹理分量的信息，并且所述B帧和/或P帧包括描述所述一个或多个分段的时间运动的信息；以及
(f)所述第二识别装置适于使用所述模型参数、B帧和/或P帧来解码包括纹理分量的实质上是随机特性的所述一个或多个分段，所述模型参数描述所述一个或多个分段的纹理，并且所述B帧和/或P帧包括描述所述一个或多个分段的时间运动的信息。
优选地，使用电子硬件和可在计算硬件上执行的软件当中的至少一项来实施该解码器。
应意识到，本发明的特征能够在不脱离本发明范围的情况下以任意组合方式来组合。
附图简述
下面参照附图仅通过示例来描述本发明的各实施例，其中：
图1是视频处理的示意图，其中包括编码输入视频信号以便产生相应的已编码视频数据的第一步骤，将该已编码视频数据记录到数据载体上和/或广播该已编码视频数据的第二步骤，以及解码该已编码视频数据以便重建所述输入视频信号的一个版本的第三步骤；
图2是图1中描述的第一步骤的示意图，其中输入视频信号Vip被编码，以便产生相应的已编码视频数据Vencode；以及
图3是图1中描述的第三步骤的示意图，其中已编码视频数据被解码以便产生对应于所述输入视频信号Vip的重建的输出视频信号Vop。
具体实施例
参照图1，其示出由10表示的视频处理。处理10包括：在编码器20中编码输入视频信号Vip以便产生相应的已编码视频数据Vencode的第一步骤；在数据载体30上存储该已编码视频数据Vencode和/或通过合适的广播网络30发送该已编码视频数据的第二步骤；以及在解码器40中解码所广播和/或所存储的视频数据Vencode以便重建对应于输入视频信号的输出视频信号Vop以用于随后观看的第三步骤。输入视频信号Vip优选地遵循同时代已知的视频标准，并且包括图片或图像的时间序列。在编码器20中，通过帧(其中有I帧、B帧和P帧)来表示图像。这样的帧的指定在同时代的视频编码技术中是已知的。
在操作中，输入视频信号Vip被提供到编码器20，该编码器将分段处理应用于存在于输入信号Vip中的图像。该分段处理将图像细分为各空间分段的区域，然后对所述空间分段的区域以用第一分析以便确定它们是否包括随机纹理。此外，该分段处理还被设置成执行第二分析，以用于确定被识别为具有随机纹理的分段区域是否是时间稳定的。然后根据第一和第二分析的结果来选择应用于输入信号Vip的编码功能，以便产生已编码输出视频数据Vencode。输出视频数据Vencode然后被记录在数据载体30上，所述数据载体例如是下面的至少一项：
(a)固态存储器，例如EEPROM和/或SRAM；
(b)光学存储介质，诸如CD-ROM、DVD、专有蓝光介质；以及
(c)磁盘记录介质，例如可转移的磁硬盘。
附加地或可选择地，已编码视频数据Vencode适于通过地面无线、通过卫星传输、通过数据网络(诸如因特网)以及通过已建立的电话网络进行广播。
随后，至少从广播网络30接收已编码视频数据Vencode或者至少从数据载体30中读取Vencode，并且随后将其输入到解码器40，然后解码器40重建输入视频信号Vip的一个拷贝以作为输出视频信号Vop。在对已编码视频数据Veneode进行解码的过程中，解码器40应用I帧分段功能来确定由编码器20应用于分段的参数标签，然后从这些标签确定是否存在随机纹理。其中对于一个或多个分段，通过与其相关的标签来表示随机纹理的存在，解码器40还确定该随机纹理是否是时间稳定的。依赖于分段的特性(例如它们的随机纹理和/或时间稳定性)，解码器40令所述分段通过适当的功能，以便重建输入视频信号Vip的一个拷贝，从而作为输出视频信号Vop来输出。
从而，在构想视频处理10的过程中，本发明的发明人已经基于帧分段技术发展了一种压缩视频信号的方法，其中特定的分段区域由相应的压缩的已编码数据中的参数来描述，这样的特定区域具有在空间上具有随机特性的内容，并且适于在解码器40中使用由所述参数驱动的随机模型来重建。为了进一步帮助这样的重建，运动补偿和深度分布信息也被有利地利用。
本发明的发明人已经意识到，在视频压缩的范围中，视频纹理的一些部分适于以统计学方式来模拟。这样的统计学模拟作为获得增强的压缩的方法是可实行的，因为人类大脑解释图像部分的方式是主要集中于它们的边界的形状而不是集中于所述部分的内部区域中的细节。从而，在由处理10产生的压缩的已编码视频数据Vencode中，适于随机模拟的图像部分在视频数据中被表示为边界信息以及简明地描述边界内的内容的参数，所述参数适于在解码器40中驱动一个纹理产生器。
然而，已解码图像的质量由几个参数确定，并且从经验上来说，最重要的参数之一是时间稳定性，该稳定性还与包括纹理的图像部分的稳定性有关。从而，在已编码视频数据Vencode中，空间统计特性的纹理也以时间方式描述，以便允许在已解码输出视频信号Vop中提供时间稳定的统计印象。
因此，本发明的发明人已经意识到当前在已编码视频数据中获得增强的压缩的当前。由于已经意识到图像纹理的随机特性，因此已经考虑到识别适当的参数以便关于表示这样的纹理在已编码视频数据中使用的附加问题。
在本发明中，能够通过在解码器40中利用纹理深度和运动信息以便重新产生这样的纹理来解决这些问题。传统上仅在确定性纹理产生的情境中采用参数，例如视频游戏中的静态背景纹理等等。
当前的视频流(例如存在于编码器20中的视频流)被划分为I帧、B帧和P帧。传统上，在已编码视频数据中、以允许在视频数据的随后解码期间重建详细纹理的方式来压缩I帧。此外，通过使用运动矢量和残余信息在解码期间重建B帧和P帧。本发明与传统的视频信号处理方法的不同之处在于，I帧中的某些纹理不需要被传送，而是只通过模型参数来传送其统计模型。此外，在本发明中，对于B帧和P帧计算运动信息和深度信息的至少其中之一。在解码器40中，在对已编码视频数据Vencode进行解码期间产生随机纹理，其中对于I帧产生纹理，而所产生的运动和/或深度信息则一贯用于B帧和P帧。通过纹理模拟与对运动和/或深度信息的适当使用的组合，在编码器20中实现的对视频数据Vencode的数据压缩比上述同时代编码器更大，同时在解码视频质量方面没有显著可感觉到的降低。
处理10适于在传统的和/或新的视频压缩方案的情境中使用。传统的方案包括MPEG-2、MPEG-4和H.264标准当中的一个或多个，而新的视频压缩方案包括结构化视频和分层视频格式。此外，本发明可应用于基于块的以及基于分段的视频编解码器。
为了进一步阐述本发明，下面参照图2和3来描述本发明的各实施例。
在图2中，更详细地示出编码器20。编码器20包括用于接收输入视频信号Vip的分段功能100。来自分段功能100的输出被耦合到具有“是”和“否”输出的随机纹理检测功能110；这些输出在操作中指示图像分段是否包括空间随机纹理细节。编码器20还包括用于从纹理检测功能110接收信息的纹理时间稳定性检测功能120。来自纹理检测功能110的“否”输出被耦合到I帧纹理压缩功能140，该I帧纹理压缩功能140又直接耦合到数据求和功能180，以及经过第一基于分段的运动估计功能170间接耦合到求和功能180。类似地，来自稳定性检测功能120的“是”输出耦合到I帧纹理模型估计功能150，该I帧纹理模型估计功能150的输出直接耦合到求和功能180，以及经过第二基于分段的运动估计功能170间接耦合到求和功能180。同样地，来自稳定性检测功能120的“否”输出耦合到I帧纹理模型估计功能160，该I帧纹理模型估计功能160的输出直接耦合到求和功能180，以及经过第三基于分段的运动估计功能170间接耦合到求和功能180。求和功能180包括一个用于输出已编码视频数据Vencode的数据输出端，数据Vencode对应于在求和功能180处接收的数据的组合。编码器20能够用在计算硬件上执行的软件实施和/或实施为定制的电子硬件，例如实施为专用集成电路(ASIC)。
在操作中，编码器20在其输入端处接收输入视频信号Vip。该信号被存储在与分段功能100相关的存储器中(并且当需要从模拟格式转换为数字格式时被数字化)，从而在其中给出所存储的视频图像。功能100分析其存储器中的视频图像并且识别图像中的分段(例如图像的子区域)，所述分段具有预定义程度的相似性。接着，功能100将表示分段的数据输出到纹理检测功能110；有利地，纹理检测功能110可以访问与分段功能100相关的存储器。
纹理检测功能110分析被提供给它的每个图像分段，以便确定其纹理内容是否适于由随机模拟参数来描述。
当纹理检测功能110识别出随机模拟不合适时，它将分段信息传送到纹理压缩功能140及其相关的第一运动估计功能170，以便以更传统的确定性方式产生用于在求和功能180处接收的、对应于分段的已压缩视频数据。耦合到纹理压缩功能140的第一运动估计功能170适于提供适合于B帧和P帧的数据，而纹理压缩功能140适于直接产生I帧类型的数据。
相反地，当纹理检测功能110识别出随机模拟是合适的时候，它将分段信息传送到时间稳定性检测功能120。该功能120分析被提交给它的分段的时间稳定性。当发现分段是时间稳定的时候(例如是在由静止摄像机拍摄的安静的场景中，其中该场景包括一面适于进行随机模拟的斑驳的墙)，稳定性检测功能120将分段信息传送到纹理模型估计功能150，纹理模型估计功能150产生用于所识别的分段的模型参数，所述模型参数被直接传送到求和功能180以及经过第二运动估计功能170被间接传送到180，第二运动估计功能170产生用于相应的B帧和P帧的、关于所识别的分段中的运动的参数。可选择地，当稳定性检测功能120识别出分段在时间上不够稳定的时候，稳定性检测功能120将分段信息传送到纹理模型估计功能160，该纹理模型估计功能160产生用于所识别的分段的模型参数，所述模型参数被直接传送到求和功能180以及经过第三运动估计功能170被间接传送到求和功能180，该第三运动估计功能170产生用于相应的B帧和P帧的、关于所识别的分段中的运动的参数。优选地，为了分别处理相对静态的以及相对快速改变的图像，对纹理模型估计功能150、160进行最优化。如上所述，求和功能180将来自功能140、150、160、170的输出结合起来，并且输出相应的经压缩的已编码视频数据Vencode。
从而，在操作中，编码器20被这样设置：I帧中的某些纹理不必被传送，而只传送其等效的随机/统计模型。然而，对于相应的B帧和P帧则计算运动和/或深度信息。
为了进一步描述编码器20的操作，下面将描述它处理各种类型的图像特征的方式。
并非视频图像中的所有区域都适于以统计方式描述。在视频图像中经常遇到三种类型的区域：
(a)类型1：包括空间非统计纹理的区域。在编码器20中，以确定性方式将类型1的区域压缩为已编码输出视频数据Vencode的I帧、B帧和P帧。对于相应的I帧，确定性的纹理被传送。此外，相关的运动信息在B帧和P帧中被传送。在解码器侧允许精确的区域排序的深度数据优选地在解码器40这一级被传送或者重新计算；
(b)类型2：包括空间统计但是非静止的纹理的区域。这样的区域的例子包括波浪、雾或者火。对于类型2的区域，编码器20适于传送统计模型。由于这样的区域的随机时间运动，没有运动信息被用于随后的纹理产生处理(例如发生在解码器40中)。对于每个视频帧，将在解码期间从统计模型中产生对纹理的另一种表示。然而，所述区域的形状(也就是空间地描述它们的外围边缘的信息)在已编码输出视频数据Vencode中被运动补偿；
(c)类型3：相对时间稳定的并且包括纹理的区域。这样的区域的例子是草地、沙滩和森林的细节。对于这种类型的区域，例如ARMA模型的统计模型被传送，而时间运动和/或深度信息则在已编码输出视频数据Vencode中的B帧和P帧中被传送。在解码器40中利用被编码入I帧、B帧和P帧的信息，以便以时间一致的方式产生用于所述区域的纹理。
从而，编码器20适于确定是要以传统的方式压缩图像纹理(例如通过DCT、小波或类似的方式)还是要通过参数化的模型(如本发明描述的模型)来压缩。
接着参照图3，其更详细的示出解码器40的各部分。解码器40适于实施为定制硬件和/或通过在计算机硬件上执行的软件来实施。解码器40包括I帧分段功能200、分段标记功能210、随机纹理检查功能220和时间稳定性检查功能230。此外，解码器40还包括纹理重建功能240以及第一和第二纹理模拟功能250、260；这些功能240、250、260主要与I帧信息有关。此外，解码器40包括第一和第二经运动和深度补偿的纹理产生功能270、280以及经分段形状补偿的纹理产生功能290；这些功能270、280、290主要与B帧和P帧信息有关。最后，解码器40包括用于组合来自产生功能270、280、290的输出的求和功能300。
下面将描述解码器40的各种功能的互操作。
输入到解码器40的已编码视频数据Vencode被耦合到分段功能200的输入端，并且还被耦合到分段标记功能210的控制输入端，如图所示。来自分段功能200的输出也被耦合到分段标记功能210的数据输入端。分段标记功能210的输出被耦合到纹理检查功能220的输入端。此外，纹理检查功能220包括耦合到纹理重建功能240的数据输入端的第一“否”输出以及耦合到稳定性检查功能230的输入端的“是”输出。此外，稳定性检查功能230包括耦合到第一纹理产生功能250的“是”输出以及耦合到第二纹理产生功能260的相应的“否”输出。来自功能240、250、260的数据输出被耦合到功能270、280、290的相应的数据输入端，如图所示。最后，来自功能270、280、290的数据输出被耦合到求和功能300的各求和输入端，求和功能300还包括用于提供上述已解码视频输出Vop的数据输出端。
在解码器40的操作中，已编码视频数据Vencode被提供到分段功能200，该分段功能200从数据Vencode中的I帧中识别出各图像分段，并且将它们提供到标记功能210，该标记功能210用适当的相关参数来标记所识别的分段。来自标记功能210的分段数据输出被传递到纹理检查功能220，该纹理检查功能220分析在那里接收的分段以便确定它们是否具有与之相关的、指示应当进行随机模拟的随机纹理参数。在没有发现需要使用随机纹理模拟的指示的情况下(也就是上述类型1的区域)，分段数据被传递到重建功能240，该重建功能240以传统的确定性方式解码送交到那里的分段，以便产生相应的已解码I帧数据，然后已解码I帧数据被传递到产生功能270，在那里运动和深度信息被以传统方式添加到已解码I帧数据上。
当检查功能220识别出提供到那里的分段具有随机特性时(也就是类型2和/或类型3的区域)，该功能220将它们转发到稳定性检查功能230，该稳定性检查功能230进行分析，以便确定所转发的分段被编码为相对稳定(也就是上述类型3的区域)还是具有较大程度的时间改变(也就是上述类型2的区域)。当检查功能230发现分段是类型2的区域时，所述分段被转发到“是”输出，并且因此到达第一纹理模拟功能250以及随后到达纹理产生功能280。相反地，当检查功能230发现分段是类型3的区域时，所述分段被转发到“否”输出，并且因此到达第二纹理模拟功能260以及随后到达经补偿的纹理产生功能290。求和功能300适于接收来自功能270、280、290的输出并且组合它们以便产生已解码输出视频数据Vop。
针对执行分段的运动和深度重建来优化产生功能270、280，同时针对重建如上所述的没有运动的空间随机特性分段来优化纹理产生功能290。
从而，解码器40实际上包括三个分段重建通道，也就是包括功能240、270的第一通道，包括功能250、280的第二通道，以及包括功能260、290的第三通道。第一、第二和第三通道分别与对应于类型1、类型2和类型3的已编码分段的重建相关。
应当理解，可以在不脱离本发明范围的情况下修改本发明的上述
实施例。
在上述说明中，应当理解诸如“包括”、“包含”这样的表达法是非排他性的，也就是说可以存在其它未特别指出的项目或部件。

Claims (15)

1、一种编码包括图像序列的视频信号以便产生相应的已编码视频数据的方法(20)，该方法包括下列步骤：
(a)分析(100)所述图像以便识别其中的一个或多个图像分段；
(b)识别(110)所述一个或多个分段当中的实质上不是空间随机特性的那些分段，并且以确定性的方式对其进行编码(140，170)，以便产生第一已编码中间数据；
(c)识别(110，120)所述一个或多个分段当中的实质上是空间随机特性的那些分段，并且通过一个或多个相应的随机模型参数对其进行编码(150，160，170，180)，以便产生第二已编码中间数据；以及
(d)合并(180)该第一和第二中间数据以便产生所述已编码视频数据。
2、根据权利要求1所述的方法，其中在步骤(c)中，依赖于在实质上是空间随机特性的一个或多个分段中出现的时间运动的特征，使用第一或第二编码例程来编码所述一个或多个分段，所述第一例程(150，170)适用于处理其中出现运动的分段，并且所述第二例程(160，170)适用于处理实质上是时间静态的分段。
3、根据权利要求1或2所述的方法，其中：
(e)在步骤(b)中，使用I帧、B帧和/或P帧来确定性地编码实质上不是空间随机特性的所述一个或多个分段，所述I帧包括确定性地描述所述一个或多个分段的纹理分量的信息，并且所述B帧和/或P帧包括描述所述一个或多个分段的时间运动的信息；以及
(f)在步骤(c)中，使用所述模型参数、B帧和/或P帧来编码包括纹理分量的实质上是随机特性的所述一个或多个分段，所述模型参数描述所述一个或多个分段的纹理，并且所述B帧和/或P帧包括描述所述一个或多个分段的时间运动的信息。
4、一种承载使用根据权利要求1至3中的任一个所述的方法产生的已编码视频数据的数据载体。
5、一种对已编码视频数据进行解码以便重新产生相应的已解码视频信号的方法，该方法包括以下步骤：
(a)接收所述已编码视频数据并且识别其中的一个或多个分段；
(b)识别所述一个或多个分段当中的实质上不是空间随机特性的那些分段，并且以确定性的方式对其进行解码，以便产生第一已解码中间数据；
(c)识别所述一个或多个分段当中的实质上是空间随机特性的那些分段，并且通过由模型参数驱动的一个或多个随机模型对其进行解码，以便产生第二已解码中间数据，其中所述模型参数被包括在所述已编码视频数据输入中；以及
(d)合并该第一和第二中间数据以便产生所述已解码视频信号。
6、根据权利要求5所述的方法，其中在步骤(c)中，依赖于在实质上是空间随机特性的一个或多个分段中出现的时间运动的特征，使用第一或第二解码例程来解码所述一个或多个分段，所述第一例程适用于处理其中出现运动的分段，并且所述第二例程适用于处理实质上是时间静态的分段。
7、根据权利要求5或6所述的方法，其中：
(e)在步骤(b)中，使用I帧、B帧和/或P帧来确定性地解码实质上不是空间随机特性的所述一个或多个分段，所述I帧包括确定性地描述所述一个或多个分段的纹理分量的信息，并且所述B帧和/或P帧包括描述所述一个或多个分段的时间运动的信息；以及
(f)在步骤(c)中，使用所述模型参数、B帧和/或P帧来解码包括纹理分量的实质上是随机特性的所述一个或多个分段，所述模型参数描述所述一个或多个分段的纹理，并且所述B帧和/或P帧包括描述所述一个或多个分段的时间运动的信息。
8、一种用于编码包括图像序列的视频信号以便产生相应的已编码视频数据的编码器(20)，该编码器(20)包括：
(a)分析装置，用于分析所述图像以便识别其中的一个或多个图像分段；
(b)第一识别装置(110)，用于识别所述一个或多个分段当中的实质上不是空间随机特性的那些分段，并且以确定性的方式对其进行编码，以便产生第一已编码中间数据；
(c)第二识别装置(120)，用于识别所述一个或多个分段当中的实质上是空间随机特性的那些分段，并且通过一个或多个相应的随机模型参数对其进行编码，以便产生第二已编码中间数据；以及
(d)数据合并装置(180)，用于合并该第一和第二中间数据以便产生所述已编码视频数据。
9、根据权利要求8所述的编码器(20)，其中该第二识别装置适于依赖于在实质上是空间随机特性的一个或多个分段中出现的时间运动的特征、使用第一或第二编码例程来编码所述一个或多个分段，所述第一例程适用于处理其中出现运动的分段，并且所述第二例程适用于处理实质上是时间静态的分段。
10、根据权利要求8或9所述的编码器(20)，其中：
(e)所述第一识别装置适于使用I帧、B帧和/或P帧来确定性地编码实质上不是空间随机特性的所述一个或多个分段，所述I帧包括确定性地描述所述一个或多个分段的纹理分量的信息，并且所述B帧和/或P帧包括描述所述一个或多个分段的时间运动的信息；以及
(f)所述第二识别装置适于使用所述模型参数、B帧和/或P帧来编码包括纹理分量的实质上是随机特性的所述一个或多个分段，所述模型参数描述所述一个或多个分段的纹理，并且所述B帧和/或P帧包括描述所述一个或多个分段的时间运动的信息。
11、根据权利要求8、9或10所述的编码器(20)，该编码器是利用电子硬件以及可在计算硬件上执行的软件当中的至少一项来实现的。
12、一种用于对已编码视频数据进行解码以便重新产生相应的已解码视频信号的解码器(40)，该解码器包括：
(a)分析装置，用于接收所述已编码视频数据并且识别其中的一个或多个分段；
(b)第一识别装置，用于识别所述一个或多个分段当中的实质上不是空间随机特性的那些分段，并且以确定性的方式对其进行解码，以便产生第一已解码中间数据；
(c)第二识别装置，用于识别所述一个或多个分段当中的实质上是空间随机特性的那些分段，并且通过由模型参数驱动的一个或多个随机模型对其进行解码，以便产生第二已解码中间数据，其中所述模型参数被包括在所述已编码视频数据输入中；以及
(d)合并装置，用于合并该第一和第二中间数据以便产生所述已解码视频信号。
13、根据权利要求12所述的解码器(40)，其被设置为依赖于在实质上是空间随机特性的一个或多个分段中出现的时间运动的特征、使用第一或第二解码例程来解码所述一个或多个分段，所述第一例程适用于处理其中出现运动的分段，并且所述第二例程适用于处理实质上是时间静态的分段。
14、根据权利要求12或13所述的解码器(40)，其中：
(e)所述第一识别装置适于使用I帧、B帧和/或P帧来确定性地解码实质上不是空间随机特性的所述一个或多个分段，所述I帧包括确定性地描述所述一个或多个分段的纹理分量的信息，并且所述B帧和/或P帧包括描述所述一个或多个分段的时间运动的信息；以及
(f)所述第二识别装置适于使用所述模型参数、B帧和/或P帧来解码包括纹理分量的实质上是随机特性的所述一个或多个分段，所述模型参数描述所述一个或多个分段的纹理，并且所述B帧和/或P帧包括描述所述一个或多个分段的时间运动的信息。
15、根据权利要求12、13或14所述的解码器(40)，该解码器是利用电子硬件以及可在计算硬件上执行的软件当中的至少一项来实现的。
CNA2004800322033A 2003-10-31 2004-10-14 编码视频信号的方法 Pending CN1875634A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03300190.0 2003-10-31
EP03300190 2003-10-31

Publications (1)

Publication Number Publication Date
CN1875634A true CN1875634A (zh) 2006-12-06

Family

ID=34530847

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2004800322033A Pending CN1875634A (zh) 2003-10-31 2004-10-14 编码视频信号的方法

Country Status (6)

Country Link
US (1) US20070140335A1 (zh)
EP (1) EP1683360A1 (zh)
JP (1) JP2007511938A (zh)
KR (1) KR20060109448A (zh)
CN (1) CN1875634A (zh)
WO (1) WO2005043918A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629280A (zh) * 2012-03-29 2012-08-08 深圳创维数字技术股份有限公司 一种视频处理过程中缩略图提取方法及装置
CN105409129A (zh) * 2013-03-01 2016-03-16 古如罗技微系统公司 编码器设备、解码器设备和方法
US10154276B2 (en) 2011-11-30 2018-12-11 Qualcomm Incorporated Nested SEI messages for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2461977C2 (ru) * 2006-12-18 2012-09-20 Конинклейке Филипс Электроникс Н.В. Сжатие и снятие сжатия изображения
EP2289173B1 (en) * 2008-05-15 2017-10-11 Koninklijke Philips N.V. Method, apparatus, and computer program product for compression and decompression of a gene sequencing image
US8537172B2 (en) * 2008-08-25 2013-09-17 Technion Research & Development Foundation Limited Method and system for processing an image according to deterministic and stochastic fields
JP5471794B2 (ja) * 2010-05-10 2014-04-16 富士通株式会社 情報処理装置、画像送信プログラム及び画像表示方法
US9491494B2 (en) 2012-09-20 2016-11-08 Google Technology Holdings LLC Distribution and use of video statistics for cloud-based video encoding
WO2017130183A1 (en) * 2016-01-26 2017-08-03 Beamr Imaging Ltd. Method and system of video encoding optimization

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5983251A (en) * 1993-09-08 1999-11-09 Idt, Inc. Method and apparatus for data analysis
CN1158874C (zh) * 1995-09-12 2004-07-21 皇家菲利浦电子有限公司 图像信号的混合波形和基于模型的编码和解码
US5764233A (en) * 1996-01-02 1998-06-09 Silicon Graphics, Inc. Method for generating hair using textured fuzzy segments in a computer graphics system
US6480538B1 (en) * 1998-07-08 2002-11-12 Koninklijke Philips Electronics N.V. Low bandwidth encoding scheme for video transmission
US6977659B2 (en) * 2001-10-11 2005-12-20 At & T Corp. Texture replacement in video sequences and images
US7606435B1 (en) * 2002-02-21 2009-10-20 At&T Intellectual Property Ii, L.P. System and method for encoding and decoding using texture replacement
AU2003280512A1 (en) * 2002-07-01 2004-01-19 E G Technology Inc. Efficient compression and transport of video over a network

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10154276B2 (en) 2011-11-30 2018-12-11 Qualcomm Incorporated Nested SEI messages for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
US10158873B2 (en) 2011-11-30 2018-12-18 Qualcomm Incorporated Depth component removal for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
CN102629280A (zh) * 2012-03-29 2012-08-08 深圳创维数字技术股份有限公司 一种视频处理过程中缩略图提取方法及装置
CN102629280B (zh) * 2012-03-29 2016-03-30 深圳创维数字技术有限公司 一种视频处理过程中缩略图提取方法及装置
CN105409129A (zh) * 2013-03-01 2016-03-16 古如罗技微系统公司 编码器设备、解码器设备和方法
CN105409129B (zh) * 2013-03-01 2018-11-16 古如罗技微系统公司 编码器设备、解码器设备和方法

Also Published As

Publication number Publication date
KR20060109448A (ko) 2006-10-20
US20070140335A1 (en) 2007-06-21
WO2005043918A1 (en) 2005-05-12
JP2007511938A (ja) 2007-05-10
EP1683360A1 (en) 2006-07-26

Similar Documents

Publication Publication Date Title
CN102124742B (zh) 精制深度图
CN1274157C (zh) 运动图象解码方法和运动图象解码设备
CN1251508C (zh) 图像编码装置和图像解码装置
US10237576B2 (en) 3D-HEVC depth video information hiding method based on single-depth intra mode
CN1267817C (zh) 用于衰落补偿的信号指示
CN105432083A (zh) 混合向后兼容的信号编码和解码
CN103313057A (zh) 用于比特深度可分级的视频编解码器的色调映射
CN1882091A (zh) 图像编码装置和图像解码装置
CN109889830A (zh) 图像解码装置
CN1523893A (zh) 视频编码和解码方法、设备及程序
CN1292594C (zh) 使用多个扫描图形的编码和解码方法及装置
GB2505169A (en) Decoding data based on header information
CN1124563C (zh) 数据数组预测编码的方法
CN101584220B (zh) 对视频信号进行编码的方法和系统、编码的视频信号、对视频信号进行解码的方法和系统
CN1669234A (zh) 数字视频编码用可变精度图像间定时规定的方法和装置
EP4325853A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
CN1875634A (zh) 编码视频信号的方法
CN1926879A (zh) 视频信号编码器、视频信号处理器、视频信号分发系统及其操作方法
CN114402624B (zh) 点云数据处理设备和方法
CN100546390C (zh) 在图象编码过程中实现自适应扫描的方法
CN1147158C (zh) 图象信号处理、记录方法和设备
CN1356669A (zh) 利用线性近似对动画路径进行压缩和重构的方法和装置
EP4373098A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
WO2012060168A1 (ja) 符号化装置、復号装置、符号化方法、復号方法、プログラム、記録媒体、および符号化データ
CN1898963A (zh) 运动图像再现方法、装置以及程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication