CN104365097B - 用于编码具有透明度信息信道的视频流的方法和装置 - Google Patents

用于编码具有透明度信息信道的视频流的方法和装置 Download PDF

Info

Publication number
CN104365097B
CN104365097B CN201380028906.8A CN201380028906A CN104365097B CN 104365097 B CN104365097 B CN 104365097B CN 201380028906 A CN201380028906 A CN 201380028906A CN 104365097 B CN104365097 B CN 104365097B
Authority
CN
China
Prior art keywords
coding
transparence information
information channel
encoder
transparence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380028906.8A
Other languages
English (en)
Other versions
CN104365097A (zh
Inventor
阿尔法塞 P·龙当
布勒克 S·范
C·史蒂文斯
J-F·麦克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alcatel Lucent SAS
Original Assignee
Alcatel Lucent SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcatel Lucent SAS filed Critical Alcatel Lucent SAS
Publication of CN104365097A publication Critical patent/CN104365097A/zh
Application granted granted Critical
Publication of CN104365097B publication Critical patent/CN104365097B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/21—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with binary alpha-plane coding for video objects, e.g. context-based arithmetic encoding [CAE]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于考虑第一透明度信息信道的预定目标比特率对具有所述第一透明度信息信道的视频流进行编码的方法，所述方法包括：临时施加第一编码(130)至所述第一透明度信息信道的一部分，所述第一编码(130)包括无损矢量图形编码方案；如果所述第一编码在所述预定目标比特率内导致编码的比特率(140)，则选择所述第一编码(150)以产生所述第一透明度信息信道的所述一部分的编码版本；否则，临时施加第二编码(160)至所述第一透明度信息信道的所述一部分，所述第二编码(160)包括数学表达编码方案；如果所述第二编码在所述预定目标比特率内导致编码的比特率(170)，则选择所述第二编码(180)以产生所述第一透明度信息信道的所述一部分的编码版本；否则，选择第三编码(190)以产生所述第一透明度信息信道的所述一部分的编码版本，所述第三编码包括基于MPEG的编码方案。

Description

用于编码具有透明度信息信道的视频流的方法和装置
技术领域
本发明涉及视频编码领域，并且特别地涉及在视频流中编码透明度信息的领域。
背景技术
目前，正在努力对技术进行标准化以编码其中深度、差异、多重视点都很重要的3D场景。有必要对动态图片的阿尔法信道(透明、半透明或不透明)进行高效编码。
发明内容
根据本发明的一个方面，提供了一种用于考虑第一透明度信息信道的预定目标比特率对具有所述第一透明度信息信道的视频流进行编码的方法，所述方法包括：临时施加第一编码至所述第一透明度信息信道的一部分，所述第一编码包括无损矢量图形编码方案；如果所述第一编码在所述预定目标比特率内导致编码的比特率，则选择所述第一编码以产生所述第一透明度信息信道的所述一部分的编码版本；否则，临时施加第二编码至所述第一透明度信息信道的所述一部分，所述第二编码包括数学表达编码方案；如果所述第二编码在所述预定目标比特率内导致编码的比特率，则选择所述第二编码以产生所述第一透明度信息信道的所述一部分的的编码版本；否则，选择第三编码以产生所述第一透明度信息信道的所述一部分的编码版本，所述第三编码包括基于MPEG的编码方案。
本发明实施例的优点在于将透明信道的性质考虑在内以产生更有效的编码流。这可能需要使用不同于那些通常用于颜色信息的编码方案的编码方案。另外，作为不同的部分(片、块、帧或帧组)的透明度信息可能需要不同类型的编码，可以针对每个部分进行评估。
在一个实施例中，根据本发明的方法进一步包括利用所选择的编码，以产生属于相同图片组的第一透明度信息信道后续部分的编码版本。
本实施例的优点是考虑将流划分为图片和图片组，这便于在接收机端解码。
在实施例中，根据本发明的方法进一步包括对于所述第一透明度信息信道针对所述第一编码和所述第二编码被选择的相应部分的数目进行计数。
本实施例的优点在于关于透明度信息的性质的统计信息被用于减少必须进行的临时编码和评估的数量。
在根据本发明的方法的实施例中，第一编码包括可伸缩矢量图形SVG编码。
本实施例的优点是所得到的编码的信息可以很容易地在接收端转换(移近、裁剪、旋转等等)而不会出现任何质量损失。
在根据本发明的方法的实施例中，第三编码包括HEVC编码、H.264SVC编码、和H.264MVC编码中的一个。
该实施例的优点是本发明可以很容易地与现有的标准兼容视频编码系统集成。
在特定实施例中，第三编码包括H.264MVC编码，并且其中一些对应于视点的附加透明度信息信道相对于所述第一信息的透明度信道通过差分编码进行编码。
该实施例的优点是它更有效地渲染属于不同视点的各种透明度信息信道的编码。
根据本发明的一个方面，提供了一种包含软件装置的计算机程序，所述软件装置在被执行时，被配置为实施如上述权利要求的方法。
根据本发明的一个方面，提供一种用于考虑第一透明度信息信道的预定目标比特率对具有所述第一透明度信息信道的视频流进行编码的装置，所述装置包括：第一编码器，被配置为根据无损矢量图形编码方案对所述第一透明度信息信道的一些部分进行编码；第二编码器，被配置为根据数学表达编码方案对所述第一透明度信息信道的一些部分进行编码；第三编码器，被配置为根据基于MPEG的编码方案对所述第一透明度信息信道的一些部分进行编码；以及编码器开关，被布置成向所述第一编码器、所述第二编码器、以及所述第三编码器中选择的一个提交所述透明度信息信道的第一部分，以便降低优先级，其中，如果在预定目标比特率内的编码没有用较高优先级编码器实现，则选择优先级较低的编码器。
在一个根据本发明的装置的实施例中，其中所述编码器开关被进一步布置成：向为所述第一部分选择的所述第一编码器、所述第二编码器、以及所述第三编码器中的一个，提交属于相同图片组的所述第一透明度信息信道后续部分。
在一个实施例中，根据本发明的装置进一步包括：统计模块，被配置为对于所述第一透明度信息信道针对所述第一编码和所述第二编码被选择的相应部分的数目进行计数；其中，所述编码器开关进一步被布置成依据所述数目，向所述第一编码器、所述第二编码器、以及所述第三编码器中统计上优选的一个提交所述第一透明度信息信道的后续部分。
在根据本发明的装置的实施例中，第一编码器包括可伸缩向量图形SVG编码器。
在根据本发明的装置的实施例中，第三编码器包括HEVC编码器/H.264SVC编码器/以及H.264MVC编码器中的一个。
在特定实施例中，所述第三编码器包括H.264MVC编码器，所述第三编码器被配置为且其中一些对应于视点的附加透明度信息信道相对于所述第一信息的透明度信道通过差分编码进行编码。
根据本发明的一个方面，提供了一种用于解码具有第一透明信息信道的视频流的装置，所述装置包括：第一解码器，用于解码根据无损矢量图形编码方案编码的所述第一透明度信息信道的一些部分；第二解码器，用于解码根据所述根据数学表达编码方案编码的所述第一透明度信息信道的一些部分；第三解码器，用于解码根据基于MPEG的编码方案编码的所述第一透明度信息信道的一些部分；和检测器，被布置成检测施加到第一透明度信息信道的接收部分的编码，并根据所述解码，向所述第一解码器、所述第二解码器、以及所述第三解码器之一提交所述接收的部分。
在一个根据本发明的装置的实施例中，无损矢量图形编码方案包括可伸缩矢量图形、SVG编码；并且其中所述基于MPEG编码方案包括HEVC编码、H.264SVC编码、和H.264的MVC编码中的一个。
根据本发明实施例的计算机程序和装置的作用和优点对应于本发明实施例的方法的作用和优点。
附图说明
现在以举例的方式并参照附图描述根据本发明的实施例的装置和/或方法的一些实施例，其中：
图1提供根据本发明实施例的方法的流程图；
图2提供根据本发明实施例的编码装置的示意图；和
图3提供根据本发明实施例的解码装置的示意图。
具体实施方式
本发明的实施例是基于本发明人的以下见解，如果可能的话，使用阿尔法信道是有利的以更有效地对动态图片信息(RGB、YUV、HSV、其他)进行编码。
本发明的进一步的实施例是基于本发明人的见解，即使用阿尔法信道以更有效地对深度信息进行编码是有利的。
当前HEVC标准化中的焦点问题是图像的编码方式，可选地包括深度信息。图像和/或深度上的阿尔法信道的影响被忽略。在单视点或多视点捕获场景的图片和深度的阿尔法信道忽略将导致低效的编码，这又将增加存储和带宽的要求，并影响到延迟。
因此建议在H.264中通过使用每接入单元(一组正好对应于一个解码图片的NAL单元)的辅助编码图片进行编码的阿尔法信道。这些独立的辅助画面可以作为原始信息或作为或编码为诸如在MPEG4的第2部分的YUV分量的亮度被发送。
然而，发明人已经发现，表示透明或深度的阿尔法信道信息通常与彩色图片的灰度分量非常不同。典型地，该含量可以通过不能有效地被MPEG技术编码的非常精确的边缘或形状而变得更好预测和分隔。
本发明实施例提出了一种典型的MPEG编码器的扩展，以提供阿尔法信道的混合编码，以提高透明度/不透明度的信号的阿尔法分量的压缩。其主要思想是选择用于(多个)阿尔法信道的(多个)输入，其包括可选地以非MPEG兼容的编解码器表示的透明度或深度的最佳的编码方案，而对于YUV信道使用遵循MPEG的编码进行编码。
优选地，对于编码透明度/不透明度信号的编码方案是选自：诸如可伸缩矢量图形(SVG)的无损矢量图形编码；诸如渐变、分段常数或线性函数的无损简单数学/分析表示；以及无损或有损深度编码。如果视频必须被解码以及调整大小或裁剪，利用可扩展的图形或数学表达编码能够进行无损编码以及阿尔法信道的无损几何变换。最终，在上述方法不能以“客观速率”测定的显著压缩性能编码阿尔法内容的情况下，可以选择作为Y轴分量的阿尔法分量的有损HEVC编码，
用于评估候选编码方案的性能的“客观率”是依赖于由针对编码器压缩的YUV信号而选择的QP或速率。典型地，用户可能希望将阿尔法信道速率限制为YUV信道和阿尔法信道的总速率的给定百分比。
在图2所示的实施例中，编码器200由基于MPEG的编码器291(典型地，标准H.264编码器)构成，其压缩YUV分量以及阿尔法信道的特定替代编码分支250、280、290。阿尔法信道使用混合编码单独编码。为了实现这一目标，附加的块被引入编解码器，其被称为“编码器开关”210，该编码器开关根据可用硬件和速率统计来执行适当的阿尔法编解码器类型的决定和选择以及可选的之前的决定：
-可用硬件被考虑在内以确保只有所需的处理资源可用的编码方案可以选择-这种检查可以考虑到一个事实，即某些编码方案的计算可以很容易地并行进行(例如，SVG)。
-可以考虑如上示出的速率统计(象征性地表示为图2中的220存储器)，以确保所选择的编码满足在一定时间范围内测量和/或平均的预定性能要求。
-可选地考虑之前的决定以考虑实行“迟滞”的形式，以使得对视频流的连续部分可以以一致的方式对阿尔法信道进行编码，而不顾临时和/或有限地违反性能阈值。
优选地，具体地对应于YUV分量的H.264编码的帧内或IDR帧(图片组-又名GOP的开始)的阿尔法信道帧，两个替代编码都被首先测试如下。可以由编码装置200的编码器开关210应用的示例性决策树示在图1示出：
-SVG图片编码130：测量压缩率并将其与为YUV分量的目标压缩率设定进行比较；
-如果140SVG不够好(在压缩性能方面)：数学表达编码160，其中阿尔法信道在分段线性函数中被分段；
-如果170数学表达编码不够好(在压缩性能方面)：阿尔法信道帧，优选地整个GOP的所有后续阿尔法帧以基于MPEG编码被编码190。
SVG图片编码器130可以通过依靠关于创建阿尔法映射的方式的元数据的出现而提供所需压缩。优选地，在不存在这样的元数据的情况下，该阿尔法映射被分段在微分区域，其中连续的边缘被检测(例如，通过Canny边缘检测算法)、连接的边缘形状被检测、并被这些形状隔开的区域接着通过SVG描述器(descriptor)被描述。
同样地，数学表达160可以在元数据的基础上获得。优选地，在不存在这样的元数据的情况下，该阿尔法映射被分段在可微分区域，其中边缘被检测(既有硬边缘也有自由形式的转变，所述硬边缘至少一个2D方向硬边缘是不可微的，所述自由形式的转变可以通过多项式、二次曲面、平面等描述)，基于此，图像可以根据该边缘映射被划分到连续和可微分的区域，所述连续和可微分的区域含有用于软边缘过渡的无边缘和特定区域。对于每一个区域，函数F(x,y,z)被适配(例如，多项式、二次曲面、或平面)。
因而，可以得到由隐函数的组合构成的数学表达。这些表示为F(x,y,z)的函数在3D空间中以(x,y,z)坐标定义，其中(x,y)对等于阿尔法像素的第(i,j)像素坐标，z坐标是(i,j)处的阿尔法值。函数F可以是例如半径为r的球函数，如F(x,y,z)＝x 2+y2+z2-r2＝0。函数可以是(x,y,z)中的广义多项式(x,y,z)，所述多项式完全由他们的系数a m,n,p限定，这样F(x,y,z)等于∑m,n,pa m,n,pxmynzp。该函数也可以由(x,y)坐标中的矩形区域所描述的支持域定义。函数组合通过多个函数与它们各自的支持域定义，其中，在组分函数域可能重叠的点上采用适当的规则来解决复合函数值。优选地，特定规则是，如果(x,y)对接收两个可能的阿尔法值，只有最高的阿尔法值将与该(x,y)对相关联。上述优选表示的优点是，它允许阿尔法形状或深度值的平滑过渡的精确表示。此外，如果对图像缩放或重新采样，阿尔法信道可以在没有任何质量损失的情况下重新计算。
可选地，基于阿尔法流的各个片/块做出编码决定。
基于MPEG的编码器290和编码190可以是H.264编码器，例如HEVC编码器或H.264SVC编码器。
如果压缩性能统计220从先前编码的GOP可得，那么对于压缩性能的对比测试可以基于先前帧的测得的压缩率的中值(或平均)和当前帧的压缩率之间的平均值。
如果SVG150；250或数学函数180；280编码已被选择用于GOP的第一帧(或对于所述第一帧的特定片/块)，使用相同的编码器直到GOP的结尾。如果H.264190；290编码已被选定为GOP的第一帧，该编码是通过使用H.264来完成的，但SVG和数学表达编码可能仍然要被测试以保持压缩率的统计。
优选地，系统检查针对GOP的预定最小数量，选择SVG 150；250还是数学函数190；290进行编码，并且如果预定最小值达到120，决定施加所述编码至整个视频。
基于MPEG的编码器290和编码190可以是H.264MVC编码器，在这种情况下，多个阿尔法信道可用于两个或更多个视点。在这样的情况下，压缩率性能测试可以基于作为单独信道考虑的所有可用阿尔法信道的SVG或数学表达编码。阿尔法信道的MVC编码遵循相同的帧间层次结构作为针对YUV信道选择的一个。
当本发明被应用到多视流时，只对不同视图阿尔法信道的边缘的位移的微小差异而不是对完整的阿尔法帧进行编码，是有利的。
优选的是，对阿尔法帧以及阿尔法帧的一些部分(片/块)的混合编码器决定在编码流中用信号示出。
优选地，一些上述用于阿尔法信道的编码机制的一部分或全部也适用于深度信息的编码。
可选地，阿尔法编码数据流和YUV编码流是由聚合器299组合在一个容器中。
如图3所示，按照本发明的相关解码装置300可以例如在机顶盒、家庭网关、客户端的计算机程序中提供，或集成到诸如电视机的可视化硬件中，所述解码装置300包括：第一解码器350，用于解码根据无损矢量图形编码方案编码(例如，SVG)的第一透明度信息信道的一些部分，第二解码器380，用于解码根据所述根据数学表达编码方案编码的所述第一透明度信息信道的一些部分，第三解码器390，用于解码根据基于MPEG的编码方案编码的所述第一透明度信息信道的一些部分，以及检测器310，被布置成检测施加到第一透明度信息信道的特定部分的编码，并向适当的解码器提交这些部分。解码后的透明度信息被提供给渲染器399。
为了清楚的原因，根据本发明的实施的装置200、300的输入输出接口没有被详细描述。
本领域技术人员能够立即理解，编码器200将从网络或存储介质获取要编码的信息。编码器因此包括必要的接口以从这样的网络或存储介质获取所述信息。编码器200进一步包括必要的接口以向存储介质或网络提供编码的流。构成这种接口的硬件和软件对于本领域技术人员来说是已知的。优选地，接口的实现和操作是为了遵守适用的标准，并且采用特别优选的编码器200适于通过因特网传递其流的方式；在这种情况下，配备编码器以根据TCP/IP协议套件来操作，优选地经由IEEE 802.3或类似的网络接口。
同样的考虑也适用比照适用于解码器300。优选地，接口的实现和操作是为了遵守适用的标准，并且采用特别优选的解码器300适于通过因特网获得其流的方式；在这种情况下，配备解码器以根据TCP/IP协议套件来操作，优选地经由如IEEE802.3“以太网”、IEEE802.11“无线局域网”、IEEE 802.16“无线MAN”、3G移动，或它们的组合的网络接口。
虽然方法和装置已经描述为单独的实施例，这样做只是为了清楚的目的，并且应当注意的是，只有与方法实施例关联而描述的特征可以应用在根据本发明的装置中，以获得相同的技术的效果和优点，反之亦然。
在图中，包括标记为“处理器”的示出的各种单元的功能可以通过使用专用硬件以及与软件的结合能够执行适当软件的硬件来提供。当由处理器提供时，这些功能可以由单个专用处理器、单个共享处理器，或其中一些可以是共享的多个单独的处理器来提供。此外，明确使用的术语“处理器”或“控制器”不应被解释为排他性地指能够执行软件的硬件，并且可以隐含地包括，但不限于数字信号处理器(DSP)硬件、网络处理器、专用集成应用成电路(ASIC)、现场可编程门阵列(FPGA)、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)、和非易失性存储器。其他常规和/或定制的硬件也可以被包括在内。同样地，在图中所示的任何开关，仅是概念性的。它们的功能可以通过程序逻辑、通过专用逻辑、通过程序控制和专用逻辑，或甚至手动地来运行，特定的技术可由从上下文更能理解本发明的的实施者选择。
本领域技术人员容易地认识到，上述各种方法的步骤都可以由编程的计算机来执行。在此，一些实施例也意在覆盖程序存储设备，例如数字数据存储介质，这些程序存储设备是机器或计算机可读的并编码机器可执行或计算机可执行的指令程序，其中，所述指令执行某些上述方法的一些步骤或全部。程序存储设备可以是例如数字存储器，诸如磁盘和磁带、硬盘驱动器的磁存储介质，或光学可读数字数据存储介质。这些实施例还旨在涵盖编程以执行上述步骤描述的方法的计算机。

Claims (15)

1.一种用于考虑第一透明度信息信道的预定目标比特率对具有所述第一透明度信息信道的视频流进行编码的方法，所述第一透明度信息信道为每个像素坐标规定了相应的透明度值，所述方法包括：
-临时施加第一编码(130)至所述第一透明度信息信道的一部分，所述第一编码(130)包括无损矢量图形编码方案；
-如果所述第一编码在所述预定目标比特率内导致编码的比特率(140)，则选择所述第一编码(150)以产生所述第一透明度信息信道的所述一部分的编码版本；否则，临时施加第二编码(160)至所述第一透明度信息信道的所述一部分，所述第二编码(160)包括数学表达编码方案，其中，通过在可微分区域中对透明度信息进行分段来获得所述数学表达，其中在所述可微分区域上适配所述像素坐标和阿尔法值的多项式、二次曲面或平面函数；
-如果所述第二编码在所述预定目标比特率内导致编码的比特率(170)，则选择所述第二编码(180)以产生所述第一透明度信息信道的所述一部分的编码版本；否则，选择第三编码(190)以产生所述第一透明度信息信道的所述一部分的编码版本，所述第三编码包括基于MPEG的编码方案。
2.根据权利要求1所述的方法，进一步包括使用所选择的编码(150；180；190)以产生属于相同图片组的所述第一透明度信息信道的后续部分的编码版本。
3.根据权利要求1或权利要求2所述的方法，进一步包括：对于所述第一透明度信息信道中针对所述第一编码(150)和所述第二编码(180)被选择的相应部分的数目进行计数，以及依据所述数目选择所述第一透明度信息信道的后续部分的编码。
4.根据权利要求1-2中任一项所述的方法，其中所述第一编码包括可伸缩矢量图形SVG编码。
5.根据权利要求1-2中任一项所述的方法，其中所述第三编码包括HEVC编码、H.264SVC编码和H.264MVC编码中的一个。
6.根据权利要求5所述的方法，其中所述第三编码包括H.264MVC编码，并且其中，通过差分编码而相对于所述第一透明度信息信道来对与视点相对应的多个附加透明度信息信道进行编码。
7.一种计算机可读介质，所述计算机可读介质上体现有用于与计算机一起使用的计算机程序代码，所述计算机程序代码包括用于实施如权利要求1-6中任一项所述的方法的任意步骤的代码。
8.一种用于考虑第一透明度信息信道的预定目标比特率对具有所述第一透明度信息信道的视频流进行编码的装置(200)，所述第一透明度信息信道为每个像素坐标规定了相应的透明度值，所述装置包括：
-第一编码器(250)，被配置为根据无损矢量图形编码方案对所述第一透明度信息信道的一些部分进行编码；
-第二编码器(280)，被配置为根据数学表达编码方案对所述第一透明度信息信道的一些部分进行编码，其中，通过在可微分区域中对透明度信息进行分段来获得所述数学表达，其中在所述可微分区域上适配所述像素坐标和阿尔法值的多项式、二次曲面或平面函数；
-第三编码器(290)，被配置为根据基于MPEG的编码方案对所述第一透明度信息信道的一些部分进行编码；以及
-编码器开关(210)，被布置成按照优先级降低的顺序向所述第一编码器(250)、所述第二编码器(280)以及所述第三编码器(290)中被选择的一个编码器提交所述透明度信息信道的第一部分，其中，如果没有用较高优先级编码器实现在预定目标比特率内的编码，则选择较低优先级的编码器(280；290)。
9.根据权利要求8所述的装置，其中所述编码器开关被进一步布置成：向为所述第一部分选择的所述第一编码器(250)、所述第二编码器(280)以及所述第三编码器(290)中的所述一个编码器，提交属于相同图片组的所述第一透明度信息信道的后续部分。
10.根据权利要求8或权利要求9所述的装置，进一步包括：统计模块，被配置为对于所述第一透明度信息信道中针对所述第一编码(150)和所述第二编码(180)被选择的相应部分的数目进行计数；其中，所述编码器开关进一步被布置成依据所述数目，向所述第一编码器(250)、所述第二编码器(280)以及所述第三编码器(290)中统计上优选的一个编码器提交所述第一透明度信息信道的后续部分。
11.根据权利要求8-9中任一项所述的装置，其中，所述第一编码器包括可伸缩向量图形SVG编码器。
12.根据权利要求8-9中任一项所述的装置，其中所述第三编码器包括HEVC编码器、H.264SVC编码器以及H.264MVC编码器中的一个。
13.根据权利要求12所述的装置，其中所述第三编码器包括H.264MVC编码器，所述第三编码器被配置为相对于所述第一透明度信息信道而通过差分编码来对与视点相对应的多个附加透明度信息信道进行编码。
14.一种用于解码具有第一透明度信息信道的视频流的装置(300)，所述第一透明度信息信道为每个像素坐标规定了相应的透明度值，所述装置包括：
-第一解码器，用于解码根据无损矢量图形编码方案编码的所述第一透明度信息信道的一些部分；
-第二解码器，用于解码根据数学表达编码方案编码的所述第一透明度信息信道的一些部分，其中，通过在可微分区域中对透明度信息进行分段来获得所述数学表达，其中在所述可微分区域上适配所述像素坐标和阿尔法值的多项式、二次曲面或平面函数；
-第三解码器，用于解码根据基于MPEG的编码方案编码的所述第一透明度信息信道的一些部分；和
-检测器，被布置成检测施加到所述第一透明度信息信道的接收部分的编码，并根据所述解码，向所述第一解码器、所述第二解码器以及所述第三解码器之一提交所述接收部分。
15.根据权利要求14所述的装置，其中，所述无损矢量图形编码方案包括可伸缩矢量图形SVG编码；并且其中所述基于MPEG的编码方案包括HEVC编码、H.264SVC编码和H.264MVC编码中的一个。
CN201380028906.8A 2012-06-01 2013-05-23 用于编码具有透明度信息信道的视频流的方法和装置 Expired - Fee Related CN104365097B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12305617.8 2012-06-01
EP20120305617 EP2670139A1 (en) 2012-06-01 2012-06-01 Method and apparatus for encoding a video stream having a transparency information channel
PCT/EP2013/060579 WO2013178524A1 (en) 2012-06-01 2013-05-23 Method and apparatus for encoding a video stream having a transparency information channel

Publications (2)

Publication Number Publication Date
CN104365097A CN104365097A (zh) 2015-02-18
CN104365097B true CN104365097B (zh) 2018-01-09

Family

ID=48485182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380028906.8A Expired - Fee Related CN104365097B (zh) 2012-06-01 2013-05-23 用于编码具有透明度信息信道的视频流的方法和装置

Country Status (6)

Country Link
US (1) US9667969B2 (zh)
EP (1) EP2670139A1 (zh)
JP (1) JP6033415B2 (zh)
KR (1) KR101643205B1 (zh)
CN (1) CN104365097B (zh)
WO (1) WO2013178524A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2528460B (en) 2014-07-21 2018-05-30 Gurulogic Microsystems Oy Encoder, decoder and method
KR102407477B1 (ko) * 2015-05-07 2022-06-13 에스케이플래닛 주식회사 클라우드 스트리밍 서비스 시스템, 이미지 타입에 따른 알파 값을 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
US20170366819A1 (en) * 2016-08-15 2017-12-21 Mediatek Inc. Method And Apparatus Of Single Channel Compression
US10652583B2 (en) * 2016-08-19 2020-05-12 Apple Inc. Compression of image assets
CN107071514B (zh) * 2017-04-08 2018-11-06 腾讯科技（深圳）有限公司 一种图片文件处理方法及智能终端
CN108109193B (zh) * 2017-12-19 2021-06-22 苏州蜗牛数字科技股份有限公司 一种适用于延迟着色的可变精度编、解码方法
GB2575436B (en) 2018-06-29 2022-03-09 Imagination Tech Ltd Guaranteed data compression
FR3086831A1 (fr) * 2018-10-01 2020-04-03 Orange Codage et decodage d'une video omnidirectionnelle
CN112533022A (zh) * 2019-08-30 2021-03-19 中兴通讯股份有限公司 云化机顶盒透明度叠加方法、云化机顶盒及存储介质
US11501470B2 (en) 2020-05-27 2022-11-15 Microsoft Technology Licensing, Llc Geometric encoding of data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000021295A1 (en) * 1998-10-02 2000-04-13 The Trustees Of Columbia University In The City Of New York A method to control the generated bit rate in mpeg-4 shape coding
CN1968418A (zh) * 2005-10-06 2007-05-23 三星电子株式会社 混合图像数据处理系统和方法
CN101889447A (zh) * 2007-12-04 2010-11-17 索尼公司 扩展avc标准以与视频串行地对高分辨率数字静止画面编码

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6023301A (en) * 1995-07-14 2000-02-08 Sharp Kabushiki Kaisha Video coding device and video decoding device
JP4070846B2 (ja) 1996-09-30 2008-04-02 松下電器産業株式会社 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法
US6782052B2 (en) * 2001-03-16 2004-08-24 Sharp Laboratories Of America, Inc. Reference frame prediction and block mode prediction for fast motion searching in advanced video coding
EP1388815A3 (en) 2002-04-25 2005-11-16 Microsoft Corporation Segmented layered image system
EP1534018B1 (en) 2003-11-21 2008-11-12 Samsung Electronics Co., Ltd. Apparatus and method for generating coded block pattern for alpha channel image and alpha channel image encoding/decoding apparatus and method using the same
JP2005191956A (ja) 2003-12-25 2005-07-14 Yamaha Corp 表示用データ圧縮／伸張方法
WO2006052577A2 (en) * 2004-11-04 2006-05-18 Thomson Licensing Method and apparatus for fast mode decision of b-frames in a video encoder
JP4324079B2 (ja) 2004-11-15 2009-09-02 キヤノン株式会社 画像符号化装置及び方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
TWI339025B (en) 2005-10-13 2011-03-11 Lg Electronics Inc Method and apparatus for data processing/ storing
US9883161B2 (en) * 2010-09-14 2018-01-30 Thomson Licensing Compression methods and apparatus for occlusion data
JP4753397B1 (ja) 2010-11-30 2011-08-24 株式会社アクセル エンコードシステムおよびデコードシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000021295A1 (en) * 1998-10-02 2000-04-13 The Trustees Of Columbia University In The City Of New York A method to control the generated bit rate in mpeg-4 shape coding
CN1968418A (zh) * 2005-10-06 2007-05-23 三星电子株式会社 混合图像数据处理系统和方法
CN101889447A (zh) * 2007-12-04 2010-11-17 索尼公司 扩展avc标准以与视频串行地对高分辨率数字静止画面编码

Also Published As

Publication number Publication date
US20150117518A1 (en) 2015-04-30
WO2013178524A1 (en) 2013-12-05
EP2670139A1 (en) 2013-12-04
US9667969B2 (en) 2017-05-30
KR101643205B1 (ko) 2016-08-10
JP2015521446A (ja) 2015-07-27
CN104365097A (zh) 2015-02-18
KR20150027145A (ko) 2015-03-11
JP6033415B2 (ja) 2016-11-30

Similar Documents

Publication Publication Date Title
CN104365097B (zh) 用于编码具有透明度信息信道的视频流的方法和装置
US10097828B2 (en) Rate control for parallel video encoding
TWI505694B (zh) 編碼器及編碼方法
WO2019067687A1 (en) METHOD AND DEVICE FOR MODIFYING POINT ATTRIBUTES OF A 3D SCENE
CN109688410B (zh) 以支持辅助帧的视频编码格式编码视频流的方法及编码器
CN113924780B (zh) 用于色度子块的仿射帧间预测的方法及装置
CN113039798A (zh) 编码器、解码器以及使用ibc专用缓冲区和针对亮度分量和色度分量的默认值刷新的对应方法
US20150063451A1 (en) Universal Screen Content Codec
CN117692651A (zh) 用于译码块的几何划分块的帧间预测的装置及方法
WO2020088324A1 (zh) 一种视频图像预测方法及装置
KR20170063895A (ko) 비디오 코딩을 위한 해시 기반 인코더 결정
JP2016506196A (ja) 効率的なスケーラブル符号化概念
CN105264888A (zh) 用于对色彩空间、色彩采样率和/或比特深度自适应切换的编码策略
CN117812270A (zh) 编码器、解码器及对应方法
CN114026864B (zh) 用于几何分割模式的色度样本权重推导
CN114503558B (zh) 插值滤波器在仿射运动补偿中的适应性使用
JP2023126221A (ja) インター予測のためのエンコーダ、デコーダ、および対応する方法
CN115349257B (zh) 基于dct的内插滤波器的使用
CN113875251B (zh) 用于几何分割模式的自适应滤波器强度指示
CN113259663A (zh) 一种图像块划分方法及装置
CN110868590B (zh) 图像划分方法及装置
CN110024383B (zh) 图像压缩技术
JP7286782B2 (ja) 幾何学的区分けモードのためのサンプルの距離の計算
US20240195947A1 (en) Patch-based depth mapping method and apparatus for high-efficiency encoding/decoding of plenoptic video
RU2778993C2 (ru) Способ и аппаратура предсказания видеоизображений

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180109

Termination date: 20210523