CN101822046A - 用于由至少两个编码输入视频流来建立一个编码输出视频流的方法和装置、以及该装置的应用和编码输入视频流 - Google Patents

用于由至少两个编码输入视频流来建立一个编码输出视频流的方法和装置、以及该装置的应用和编码输入视频流 Download PDF

Info

Publication number
CN101822046A
CN101822046A CN200880111556A CN200880111556A CN101822046A CN 101822046 A CN101822046 A CN 101822046A CN 200880111556 A CN200880111556 A CN 200880111556A CN 200880111556 A CN200880111556 A CN 200880111556A CN 101822046 A CN101822046 A CN 101822046A
Authority
CN
China
Prior art keywords
image
signaling
coding
parameter
coded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880111556A
Other languages
English (en)
Other versions
CN101822046B (zh
Inventor
P·阿蒙
A·赫特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN101822046A publication Critical patent/CN101822046A/zh
Application granted granted Critical
Publication of CN101822046B publication Critical patent/CN101822046B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567—Multimedia conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种方法和一种装置，该方法和装置为了视觉显示在多个编码输入视频流中所编码的第一图像的图像内容，而如此来生成在一个编码输出视频流中所编码的第二图像，使得该编码输入视频流的第一编码图像数据被复制到该编码输出视频流的第二编码图像数据中。本发明还涉及该装置的使用以及一种编码输入视频流。

Description

用于由至少两个编码输入视频流来建立一个编码输出视频流的方法和装置、以及该装置的应用和编码输入视频流
本发明涉及一种用于由至少两个编码输入视频流来建立一个编码输出视频流以在编码输出视频流的第二图像中共同显示编码输入视频流的相应的第一图像的方法和装置。本发明还涉及该装置的应用以及该编码输入视频流。
基于视频的应用、比如用于监控设备或视频会议领域内在最近几年中已增多。在此，经常在一个终端设备上应该同时显示多个视频流。在具有多于两个用户的视频会议中，不仅一个用户将能够在一个时间点被看到，比如这在“Voice Activacted Switching，语音激活的切换”技术中被使用，而且两个或所有的通话伙伴在相应的终端设备上被显示。这称作“Continuous Presence，持续呈现”。在视频监控领域的另一例子中，应该在一个监控器上同时显示多个视频流。如果该监控系统在该控制室中仅支配有一个视频解码器，那么在一个时间点上仅能够解码并显示监控视频中的一个。
为了实现“Continuous Presence，持续呈现”，已公开了多个解决方案。一个第一解决方案是在终端设备中使用多个视频解码器，由此能够解码并显示两个或多个并行接收的视频流。该解决方案所具有的缺点是，一方面在一个终端设备中实施多个视频解码器是造价昂贵的，另一方面是已使用了很多视频会议终端设备，这些终端设备仅支配有一个视频解码器。
已知的第二解决方案是使用一种视频桥或视频会议控制单元，也称为多点会议单元(MCU)。该视频桥是一个中央单元，其首先获得视频会议所有用户的编码视频流，并为每个用户生成一个专用的编码视频流。为此所接收的视频流被全部解码，然后对应于各个通话伙伴的要求而被组合，并接着分别被重新编码。这种编码转换是非常复杂的，并通常以硬件来实现，这导致高的设备造价。另外由于许多信号处理步骤而产生了编码转换延迟。这种编码转换最终导致重新生成的视频流的质量下降。
在标准ITU H.263附录C中提供了另一解决方案。在此在一个数据流中写入了多个独立的H.263编码视频流。借助图1来详细解释所引用现有技术的步骤。
图1示出了两个H.263编码比特流BS1、BS2。其借助一个视频多路复用单元VME而被复合到数据流H.263D中。为了使H.263兼容的视频解码器能够识别出在该数据流中存在两个子数据流“Sub-Bitstreams”，设置了所谓的CPM标志(CPM-Continuous Presence Multipoint，持续呈现多点)。该CPM标志位于每个编码图像的“Picture Header，图像报头”中。在编码的、具有仅一个视频流的H.263视频流比如相应编码的视频流BS1和BS2的情况下，该CPM标志＝0。如果多个H.263视频流被复合，那么该CPM标志被设置为CPM＝1，并另外设置一个控制参数PSBI(PSBI-Picture Sub-Bitstreamindicator，图像子比特流指示符)来作为识别相应子数据流的标记。该标准H.263允许最多四个子数据流。在图1中在此可以看出，在数据流H.263D中编码视频流BS1的子数据流用PSBI＝0来指示，编码视频流BS2的用PSBI＝1来指示。
在GOB层(GOB-Group of Block，块组)上也借助一个控制参数GSBI(GSBI-GOB Sub-Bitstream Indicator，GOB子比特流指示符)或者在片段层上借助一个控制参数SSBI(SSBI-Slice Sub-Bitstream Indicator，片段子比特流指示符)来进行类似的指示。从而实现了子数据流更好的复合。另外在数据流H.263D中子数据流的末尾借助另一控制参数ESBI(ESBI-Ending Sub-Bitstream Indicator，子数据流结束指示符)来指示。
通过前述的标准H.263附录C的多路复用方法，仅仅把两个或多个H.263编码的视频流复合成一个数据流。这意味着，为了显示两个或多个编码视频流而需要两个或多个独立的视频解码器。因为标准H.263附录C的实施具有高的复杂性，并从而具有高的成本，比如具有自己的图像存储器的独立视频解码器的实施，所以很少在终端设备中实施该附录C。
从而本发明的任务是提供一种方法和一种装置，利用该方法和装置能够把至少两个编码输入视频流的编码图像数据变换成一个唯一的编码输出视频流，而不必实施编码图像数据的编码转换，并同时能够使所产生的编码输出视频流的数据容量保持得微小。
该任务通过独立权利要求的特征而得到解决。本发明的改进在从属权利要求中给出。
本发明涉及一种用于由至少两个编码输入视频流来建立一个编码输出视频流以在该编码输出视频流的第二图像中共同显示编码输入视频流的相应的第一图像的方法，其中
-所述编码输入视频流包括相应的第一编码图像数据和相应的第一信令数据，其中各个第一编码图像数据分别包含有针对该第一图像被编码的图像信息；
-该编码输出视频流和编码输入视频流具有相同的颜色格式、相同的每编码像点比特分辨率以及相同的图像扫描，并利用相同的视频编码方法来编码；
-该视频编码方法具有至少一个编码模式，在该编码模式中，编码输出视频流的、描述第二图像的第二编码图像数据可以划分为可分离的(separierbare)编码子图像数据；
-以如下方式建立具有第二控制数据和该第二编码图像数据的编码输出视频流：
-通过把要同时显示的第一图像的第一编码数据的相应之一复制到该第二图像的编码子图像数据TB1＝B11、TB2＝B12的相应之一中来生成该第二编码图像数据；
-至少部分地基于第一信令数据来生成第二信令数据(S2)。
本发明所具有的优点是，为了建立该编码输出视频流，该编码输入视频流的第一编码图像数据可以不经过编码转换(Transkodierung)、而是通过节省时间和降低计算复杂性的复制而被直接采用。另外，该编码输出视频流的数据容量与全部编码输入视频流的多路复用相比是小的，因为该第二信令数据具有与所有编码输入视频流的第一信令数据之和相比明显小的数据容量。另外，通过把第一图像数据复制到该第二图像数据中，能够避免否则由编码转换所产生的图像质量损失。最后可以如此来控制该编码输出视频流的生成，使得通过添加或多或少的编码输入视频流，可以单独并且动态地匹配可供使用的传输带宽的编码输出视频流的数据速率。
在本发明的范畴内，该第一及第二编码图像数据理解为以下的信息，其中所述信息包含有以压缩形式的相应图像信息，比如移动向量和变换、量化和熵编码的图像信息和差分图像信息。该第一及第二信令数据应理解为相应编码输入视频流及输出视频流的、包含有管理信息比如图像大小、图像号或量化参数的那些信息。
优选地，该第一信令数据分别通过该第一信令参数来表示，该第二信令数据通过该第二信令参数来表示，各个编码输入视频流的相对应第一信令参数被分析：它们是否具有相同的参数值，如果相对应的第一信令参数具有相同参数值，那么相同的参数值被分配给与所分析的第一信令参数相对应的第二信令参数。
通过这些方法策略，能够有利地不必重新计算全部的第二信令数据，而是可以通过直接复制从该第一信令数据中生成其中的至少一部分。这缩小了所需的时间并降低了用于建立输出视频流的计算复杂性。
在该方法的一个优选改进中，这些编码输入视频流分别具有多个第一图像，通过基于该第一图像数据和第一信令数据相应地生成针对编码输入视频流的相应图像对的第二信令数据和第二编码图像数据来建立该编码输出视频流。
由此能够由编码输入视频流的图像序列来有利地生成编码输出视频流的图像序列。
在一个改进方案中，为其中编码子图像数据上下布置的一个第二图像生成位于下面的编码子图像数据的第二信令数据的第二信令参数，其方式是，由位于上面的编码子图像数据的最后图像块(尤其是左下或右下的宏块)的地址增加值1来生成位于下面的编码子图像数据的第一图像块(尤其是左上的宏块)的地址。由此能够以尤其简单的方式在该编码输出视频流中建立作为第一编码图像数据存在的两个第一图像信息。
在该方法的一个改进方案中，如果所分析的第一信令参数的至少两个是不同的，那么相应的第一信令参数被分析，其中所述信令参数相应描述了在第一信令数据中一个量化参数的偏移(Offset)，所分析的第一信令参数的差值被确定，该差值作为另外的信令参数而被添加到该第二信令数据的第二信令参数中，其中所添加的信令参数被分配给以下的编码子图像数据：在编码子图像数据中在该第一信令数据中所分析的信令参数与该差值相加相应于另外的被分析的第一信令参数之一。
本发明的该改进也可以在该方法的范畴内使用第一编码图像数据，其中该图像数据具有相应量化参数的不同偏移。
如果在该第一信令数据中相应的第一信令参数被分析，其中该第一信令参数相应描述了在相应编码输入流中要考虑的参照图像的最大数量，那么就从所分析的第一信令参数中选出具有最大参数值的那个信令参数，并把所选择的信令参数添加到该第二信令数据中，从而在本方法的范畴内也可以使用其中要考虑的参照图像最大数量不同的编码输入视频流。
在一个优选的改进方案中，在第一信令数据中分析相应地描述了解块滤波器的显式(explizit)或隐式的(implizit)控制的各第一信令参数，如果通过该分析结果而表明了显式以及隐式的控制，那么就在属于该编码子图像数据的第二信令数据中添加该显式信令作为信令参数。该策略允许应用于设置有解块滤波器的不同控制的编码输入视频流。
为了建立该第二图像的第二编码图像数据，优选地如此来相应选择该编码输入视频流的第一图像，即属于该第一图像的第一编码图像数据处于相同的预测模式中，尤其是帧间编码、帧内编码或双向编码。由此能够以尤其简单而有效的方式来生成该第二信令数据。
在本发明的一个改进方案中，作为视频编码方法的编码模式选择了一种片段模式(Slice-modus)，并通过该片段模式来分别把一个片段分配给编码子图像数据之一。该方法策略能够把该第一编码图像数据简单地分配给该第二编码图像数据。
在一个优选的改进方案中，作为视频编码方法的编码模式选择了一种片段组模式，并通过该片段组模式来分别把一个片段组分配给编码子图像数据之一。由此为该第二编码图像数据采用了一种编码模式，该编码模式允许在该第二图像中灵活地配置由该子图像数据所描述的第一图像的显示。作为视频编码方法可以采用标准ITU H.264，其中使用片段组模式用于构成编码子图像数据。
通常作为编码方法可以采用标准ITU H.264、ITU H.263或SVC之一，由此能够造价合理且方便地使用该方法，因为所述的视频编码标准具有高的流行度。
优选地通过从SVC编码输入流中提取基础层信息来生成编码输入视频流。这所具有的优点是，在该方法的范畴内也可以采用与编码输出视频流不同的视频编码标准的编码输入流。
如果基于SVC编码输入流的基础层信息和至少一个增强层信息来生成编码输入视频流，其中所提取的层信息具有相同的位置层和SNR层的构造，那么就可以根据预先给定的条件、比如可供使用的带宽或所要求的图像质量来由SVC编码输入流生成编码输入视频流。
在一个优选的改进方案中，采用了一个或多个编码输入视频流来建立编码输出视频流，其中所述输入视频流分别具有一个信令参数，该信令参数表明了仅仅在该第一图像的图像界限内实施了预测，以编码相应的第一图像。这所具有的优点是，能够避免在图像边缘上由于错误的解码判断而造成的图像质量干扰。在此可以尤其借助根据视频编码标准H.264的SEI消息以以下形式来生成该信令参数：
mixing_info(payloadSize){
constraint_inter_pred_flag
}
其中字段“payloadSize”表示该SEI消息的大小，字段“constraint_inter_pred_flag”的预先给定值表明仅仅在该第一图像的图像界限内实施了用于编码相应的第一图像的预测。该SEI消息(SEI-Supplemental Enhancement Information，补充增强信息)可以符合标准地信令发送这种改进。
本发明还涉及一种装置，其用于由至少两个编码输入视频流来建立一个编码输出视频流，以在该编码输出视频流的一个第二图像中共同显示该编码输入视频流的相应的第一图像，其中该装置具有至少一个工具，其中该工具被构造，使得可以实施至少一个前述方法步骤。该装置能够实现和实施该方法。
另外，该装置的使用也是本发明的组成部分，其中该装置应用于视频会议控制单元中，以连接至少两个终端设备。
最后，在按照上述方法步骤之一的方法中或在前述装置中所采用的编码输入视频流也是本发明的组成部分，其中用于建立编码输出视频流的编码输入视频流以如下方式被生成：即，其具有信令参数，该信令参数表明了仅仅在该第一图像的图像界限内实施用于编码相应的第一图像的预测。
下面借助附图来详细解释本发明和其改进。其中：
图1示出了在标准H.264263附录C中子比特流的使用；
图2示出了在编码模式“片段模式”的应用中一个实施例的示意性配置；
图3A、3B示出了图2的实施例的示例的第二序列参数组；
图4A、4B示出了图2的实施例的示例的第二图像参数组；
图5示出了用于匹配再现序列和解码序列的图像号的概况；
图6示出了在解码后借助“片段模式”的编码子图像数据的垂直配置；
图7A、7B示出了在使用一种“片段组模式”的情况下一个实施例的示例的第二序列参数组；
图8A、8B示出了在使用一种“片段组模式”的情况下该实施例的示例的第二图像参数组；
图9示出了在解码之后借助“片段组模式”的编码子图像数据的水平配置；
图10示出了借助“片段组模式”的多个编码子图像数据的一种配置；
图11示出了组合使用“片段模式”和“片段组模式”的一种配置，以每个片段组显示多个片段；
图12示出了具有大小不同的、通过编码子图像数据而代表的第一图像的另一配置；
图13示出了通过编码子图像数据所代表的第一图像的另一配置；
图14示出了另一实施例的一种示意性配置。
具有相同功能和作用的单元在附图中设置有相同的参考符号。
下面借助多个实施例基于当前流行的视频编码方法及视频编码标准来详细解释本发明。
通过照相机所拍摄的、比如具有YUV422格式的图像包含有多个像点。在当前流行的视频编码方法中，这些像点成块地、比如以4x4或16x16个像点而被组合并被编码及压缩。这种图像块也称为宏块。在编码中，相应的图像块经受了帧内编码或帧间编码。在帧内编码情况下，图像块不借助已编码的图像信息而被编码。在此该图像块比如经受了一种二维离散余弦变换DCT，由此所产生的系数被量化，并且被量化的系数借助熵编码、比如霍夫曼编码而被进一步处理。在帧间编码情况下，该编码基于比如在当前要编码的图像之前或之后的图像中已编码的图像块，和/或在当前要编码的图像内已编码的图像信息。在帧间编码情况下，首先通过运动评估或其他的预测规则来确定预测向量或预测模式。根据所确定的预测向量或预测模式得到一个预测信号，该预测信号从当前要编码的图像块的图像信号中被减去，由此产生了一个残差信号(Restfehlersignal)。该残差信号与帧内编码相类似地经受了变换、量化以及最后的熵编码，比如一种数学编码。从而被编码的图像数据通过压缩的系数以及必要时通过在采用帧间编码时所使用的预测向量和/或预测模式而被描述。
在图2中作为相应的编码输入视频流V11、V12的第一编码图像数据B11、B12以及作为一个编码输出视频流V2的第二编码图像数据B2而示意地示出了编码图像数据。为了生成视频流，根据视频编码方法及视频编码标准，除了提供编码图像数据之外还必须提供信令数据，其中信令数据向解码器通知管理信息，比如编码图像的图像大小或图像号。所需的信令数据在编码输入视频流V11、V12中被表示为第一信令数据S11及S12，在编码输出视频流V2中被表示为第二信令数据S2。
在图2的该实施例中，编码输入视频流V11、V12的第一编码图像数据B11、B12应该被混合为一个唯一的编码输出视频流V2，使得利用一个唯一解码器就能够再现由第一编码图像数据所代表的两个第一图像P11、P12的同时显示。这相应于在前文中所述的模式“ContinuousPresence，持续呈现”。在图2中编码输入视频流V11、V12示例地利用视频编码标准ITU H.264编码来形成。在标准H.264中，要编码的图像信息借助“片段”来描述。一个片段在此由片段报头、比如相应的第一片段报头SH11、SH12和实际的编码图像数据组成，见第一编码图像数据B11、B12。在图2中该第一及第二信令数据S11、S12、S2利用未填充的矩形来示意地再现。该信令数据通常包含一个或多个信令参数。在图2的实施例中，第一信令数据S11、S12主要包括第一序列参数组SPS11、SPS12(SPS-Sequence Parameter Sets)、第一图像参数组PPS11、PPS12(PPS-Picture Parameter Sets)和第一片段报头SH11、SH12。
要建立的编码输出视频流V2除了该第二图像P2的第二编码图像数据B2之外还具有该第二信令数据S2。该第二信令数据S2主要包含有该第二片段报头SH21、SH22、一个第二序列参数组SPS2和一个第二图像参数组PPS2。
为了建立该编码输出视频流V2而实施以下两个步骤：
第一步骤：
该第二编码图像数据B2被如此生成，使得在该编码输出视频流中被提供有两个片段TB1、TB2，其中在片段TB1中复制了一个编码输入视频流V11的第一编码图像数据B11，并在另一片段TB2中复制了另一编码输入视频流V12的第一编码图像数据B12。在该实施例中该编码输出视频流的片段相应于编码子图像数据TB1、TB2。通过使用片段TB1、TB2，正好能够实现可分离的编码子图像数据的特征，因为各片段可相互分离地被编码，并且在解码时同时被显示。
第二步骤：
在此该第二信令数据S2至少部分地基于该第一信令数据S11、S12而被生成。为了建立该第二信令数据如该第二序列参数组SPS2、该第二图像参数组PPS2和第二片段报头SH21、SH22，下面进行详细阐述。
该第二片段报头SH21、SH22的生成：
-如果存在限制：即在图像中所有所使用的片段TB1、TB2具有相同的片段类型，那么在该第二片段报头中相应的字段必定是相同的。在一个图像中的片段不必具有相同的片段类型。片段类型5至9在H.264中发送信令：在同一图像中出现相同的片段类型。如果应该混合两个第一图像数据，那么该信令就可能突然不再正确。那么必须使用片段类型0至4。通过从该第一片段报头的相应信令参数中减5或者通过模5运算来得到该映射。
-在第二图像中所显示的两个片段TB1和TB2的在H.264中作为“pic_order_cnt_lsb”信令参数而已知的图像号必须是相同的。这通过如下来实现，即在第二片段报头中分别选择相同的图像号。对此特殊的方法策略在下文中被详细解释。
-信令参数“frame_num”必须根据在相应片段报头SH11、SH12中的相应记录来匹配。对此一个特殊的方法策略在下文中被详细解释。
-信令参数、在该第二图像的下面一半中所显示的片段TB2中一个第一宏块的地址必须如此来匹配，使得该第一宏块的地址与该第二图像中设置于上面的片段TB1的最后一个宏块的地址相邻接。
关于此的一个例子参见图6。如果该片段TB1比如包含99个宏块，这意味着有宏块0，...，98，那么该第二片段TB2的第一宏块的地址是99。这在图6中在第二图像P2中用数字来示出。
相应的信令参数(Makroblockadressfeld)从而在属于片段TB2的第二片段报头SH22中相应地设置为99。
-该第二片段报头SH21的其他信令参数可以从该第一片段报头SH11来复制，而对于第二片段报头SH22，其他信令参数则可以从该第一片段报头SH12来复制。
第二序列参数组SPS2的生成参见图3A和3B：
-该第二序列参数组SPS2的信令参数“profile_idc”的说明必须如此来选择，使得从而在编码输入视频流中所支持的所有H.264标准工具被支持。如果在该第一图像参数组PPS11、PPS12中相应的信令参数“profile_idc”是相同的，那么该记录就可以直接被引用该第二图像参数组PPS2的相应字段中。在图3A中profile_idc＝66。
-该第二图像参数组PPS2的一个信令参数“level_idc”比如如此来选择：使得根据新的图像大小所得到的参数(其中该参数由该第二编码图像数据、也即由两个片段TB1、TB2来给定)比如在每个图像中宏块的最大数目(在本例子中比如为2x99＝198个宏块)要小于要新确定的信令参数“level_idc”。在图3A中level_idc＝11。
-该第二信令数据的颜色格式“chroma_format_idc”和像点的比特分辨率“bit_depth_luma_minus8”及“bit_depth_chroma_minus8”信令参数可以从该第一序列参数组SPS11之一的与其对应的信令参数来直接引用，因为在编码输入视频流中和在编码输出视频流中的颜色格式和比特分辨率必须是相同的。
-如果该信令参数“pic_order_cnt_type”在所有第一序列参数组SPS11和SPS12中是相同的，那么该信令参数的计算规则或者可以直接由该第一序列参数组SPS11、SPS12之一的相对应的信令参数来直接引用。否则该信令参数的值可以从该第一序列参数组SPS11、SPS12之一中来引用，其中在相应第二片段报头SH21、SH22中图像号的匹配必须与所引用的值相匹配。
-另外，在该编码输出视频流中通过该第二信令数据的一个信令参数“num_ref_frames”来表示的参照图像的数目可以如此来选择，使得其选择得至少与第一信令数据的相对应的信令参数的最大值一样大。根据图3B中的例子，该第二信令数据的该信令参数由以下来获得：
num_ref_frames(SPS11)＝1；
num_ref_frames(SPS12)＝5
→num_ref_frames(SPS2)＝5
其中可以理解为第一信令参数SP11_1＝num_ref_frames(SPS11)以及SP12_1＝num_ref_frames(SPS12)，并可以理解为第二信令参数S2_1＝num_ref_frames(SPS2)。
-包含图像大小的图像高度的信令参数“pic_width_in_mbs_minus1”和/或图像宽度的另一信令参数“pic_height_in_map_units_minus1”的两个片段TB1、TB2必须相应于所述片段的配置来进行匹配。在该例子中该第一片段TB1包含有图像格式为QCIF(QCIF-Quarter CommonIntermediate Format，四分之一通用中间格式)的11x9个宏块，该第二片段TB2同样包含有11x9个宏块。因为这两个片段在该第二图像中上下相邻地被显示，所以图像大小为11x(9+9)＝11x18个宏块。从而信令参数“pic_width_in_mbs_-1”＝11-1＝10，另一信令参数“pic_height_in_map_units_-1”＝18-1＝17。
-因为所使用的图像扫描、也即逐行的或隔行的扫描在编码输入视频流和编码输出视频流中必须是相同的，所以可以从该第一序列参数组SPS12之一中来提取对图像扫描进行描述的信令参数“frame_mbs_only_flag”，并将其复制到该第二序列参数组SPS2中。
在建立该第二图像参数组PPS2时应考虑以下几点，作为实施例参见图4A和4B：
-在该第二图像参数组PPS2中分配了信令参数的新指数(Indizes)：“pic_parameter_set_id”和“seq_parameter_set_id”。“seq_parameter_set_id”在此必须与该第二序列参数组SPS2中所选择的值相匹配。在图4A中没有采用该第一图像参数组PPS11、PPS12的所述信令参数，而是在该第二图像参数组PPS2中重新设置。从而pic_parameter_set_id(PPS2)＝0并且seq_parameter_set_id＝0。
-用于所采用的熵编码方法的信令参数——见信令参数“entropy_coding_mode_flag”——可以从该第一图像参数组SPS11、SPS12之一的相对应的信令参数中来引用，因为在该编码输入视频流和在编码输出视频流中该信令参数是相同的。从而entropy_coding_mode_flag(PPS2)＝entropy_coding_mode_flag(PPS11)。
-用于表明在编码输出视频流中参照图像的最大指数的该第二图像参数组的信令参数(也即按照图4A的“num_ref_idx_10_active_minus1”和/或“num_ref_idx_11_active_minus1”)必须选择得至少同该使用的编码输入视频流的与所提到的信令参数相对应的信令参数的最大值一样大。按照图4A的例子，该信令参数在该第一图像参数组PPS11中等于5，在PPS12中等于10。从而作为该信令参数的值将num_ref_idx_10_active_minus1(PPS2)＝10记录到该第二图像参数组中。
-在使用加权预测时，所属的信令参数“weighted_pred_flag”和“weighted_bipred_idc”在该第一图像参数组中分别是相同的，使得该第二图像参数组的各个相对应的信令参数与该第一图像参数组之一的各个信令参数被设置为相同的，比如weighted_pred_flag(PPS)＝weighted_pred_flag(PPS11)以及weighted_bipred_idc(PPS2)＝weighted_bipred_idc(PPS12)。但是如果该信令参数在该第一图像参数组中分别是不同的，那么在该第二图像参数组的所述信令参数中就信令发送加权预测。那么在相应的第二片段报头SH21、SH22中在所属片段TB1、TB2中为预测而使用的加权相应也被信令发送，即使其等于一个省缺值，比如对于单向预测的1以及对于双向预测的0.5。该加权被写入到相应第二片段报头中的所谓预测加权表格(“pediction weighttable”)中。
-如果在相应的第一图像参数组PPS11、PPS12中用于量化参数偏移的相应信令参数、也即“pic_init_qp_minus26”及“pic_init_qs_minus26”是相同的，那么该第一图像参数组之一的相应信令参数就可以被直接引用到该第二图像参数组的相对应的信令参数中。但是如果该第一图像参数组的这些信令参数是不同的，那么该第一图像参数组PPS11之一的相应信令参数就首先被记录到该第二图像参数组的相对应的信令参数中。然后确定在所记录的信令参数与该第一图像参数组的相对应的信令参数SPX之间的相应差值。所述相应差值最后被加到属于如下片段的第二片段报头的量化参数“slice_Qp_delta”上：该片段涉及所关注的对应信令参数SPX的第一图像参数组的编码输入视频流。
-如果用于解块滤波器的显式控制的使用的信令参数(见图4B的“deblocking_filter_control_present_flag”)在该第一图像参数组中是相同的，那么对于该第二图像参数组中相对应的信令参数就可以从该第一图像参数组之一中来引用相对应的值。但如果在该第一图像参数组中该信令参数是不同的，那么在第二图像参数组中的该信令参数就必须被设置为该解块滤波器的显式控制。
在图3A和3B中说明了对于第一序列参数组和第二序列参数组的示例信令参数，其中在图3A和3B中示出了以哪种方式和方法能够把该第一序列参数组的各个信令参数变换到该第二序列参数组中。在图4A和4B中针对该第一图像参数组的信令参数说明了其如何能够被变换到该第二图像参数组的相应信令参数中。
视频编码标准H.264在相应的片段报头中作为信令参数使用了计数器“pic_order_cnt_lsb”和“frame_num”。该计数器“pic_order_cnt_lsb”用于确定解码图像以及片段的输出顺序，因为单个图像以及片段的解码顺序与所属的输出顺序、也即在屏幕上的再现可能是不同的。另一计数器“frame_num”用于指示参照图像，并主要用于识别比如由于错误传输而出错的参照图像。如果一个图像或一个片段不是参照图像，那么也就不增大所述另一计数器“frame_num”。
图5示出了用于对相应第二片段报头SH21、SH22中以两个计数器“pic_order_cnt_lsb”和“frame_num”的形式来匹配图像号的一个例子。在此绘制了在时间t上的编码输入视频流和编码输出视频流的各个图像/片段，其中仅考虑了开始于t0+0结束于t0+10的区段。在第一行中可以看到编码输入视频流V11的彼此相继的编码图像的时间顺序。在此编码图像信息作为帧内编码IDR、作为帧间编码P或者作为双向编码B而标出。在第二和第三行中示出了按照所使用的视频编码标准H.264的规定来自该编码输入视频流V11的第一片段报头SH11的控制参数“pic_order_cnt”和“frame_num”。与之类似，在行4至6中是该编码输入视频流V12的编码图像信息或图像/片段的相应说明。在第一和第四行中所说明的编码图像/片段应根据其在相应列中的布置而组合为编码输出视频流。从而比如列XX的编码输入视频流V11的IDR图像和编码输入视频流V12的IDR图像应该被变换成编码输出视频流的一个IDR图像。如在列XX中所示，属于相应编码输入视频流的信令参数是相互不同的。这根据一个示例性提议而重新建立了行7至9：
-见图5的行1、4、7，作为编码输出视频流V2的第一和第二编码图像数据或图像或片段的顺序对应于编码输入视频流V11和V12的相应使用的编码模式。因为这两个编码输入视频流的编码图像/片段的顺序是相同的，所以信令参数“frame_num”仅仅在偏移上是不同的，其中在具有编码模式IDR的编码图像到达时该信令参数“frame_num”被初始化为0，并从0开始递增。该第二片段报头SH21、SH22的信令参数“frame_num”可以从编码模式IDR的一个编码图像开头起(见列XX)通过从该第一片段报头SH11或SH12之一复制相对应的信令参数而被生成。在具有编码模式IDR的编码图像到达之前，该信令参数通过从SH11或SH12的第一片段报头之一的信令参数“frame_num”减去一个偏移来获得，比如frame_num(SH21)＝frame_num(SH12)-4。
-该第二片段报头SH21、SH22的信令参数“pic_order_cnt_lsb”通过如下方式来生成，即把该第一片段报头之一、比如SH12的一个时间上相对应的信令参数“pic_order_cnt_lsb”减小一个偏移，从而该第二片段报头的信令参数“pic_order_cnt_lsb”开始于一个最小值1。在该例子中：
“pic_order_cnt_lsb(SH21)”＝(“pic_order_cnt_lsb(SH12)”-8)mod15，
其中该计数器“pic_order_cnt_lsb”通过模运算(mod)而被限定为从0到15的一个值范围。
图6示出了编码输入视频流的第一图像P11_1、P11_2、P12-1、P12_2。它们首先分开地以编码的形式出现在各个的编码输入视频流V11、V12中，也即作为第一编码图像数据B11、B12。通过采用图2至4的实施例，实现了由所述两个单个的第一图像P11_1和P12_1、也即一个图像对来生成一个唯一的第二图像P21，使得其在输出媒介上进行解码和显示时如此被再现，使得在图像上半部能够看到第一图像P11_1的图像内容，并在图像下半部能看到第一图像P12_1的图像内容。
本说明的实施例大多局限于考虑第一图像的一个唯一图像对、比如P11_1和P12_1而在唯一一个第二图像P2_1中生成编码输出视频流。自然应当理解：本发明和这些实施例可以应用于一系列第一图像，其中在实施例中所述的方法步骤逐图像对地来实施，使得相应编码输入视频流的多个第一图像能够被转换为该编码输出视频流的多个第二图像。在图6中已经由该第一图像P11_1、P12_1生成了第二图像P2_1，以及由该第一图像P11_2、P12_2生成了第二图像P2_2。此外自然还应当理解：可以使用多于两个的输入视频流来建立编码输出视频流。
在使用视频编码标准H.264的另一实施例中，作为编码子图像数据TB1、TB2而使用了片段组单元。片段组单元实现了片段的灵活配置，或者如果通过一个唯一的片段来表示一个编码图像，那么还可以实现图像的灵活分配，从而该编码输入视频流的第一图像能够被设置在编码输出视频流的第二图像中。另外与图2的实施例相类似地来匹配宏块的地址。为了产生该编码输出视频流的第二信令数据S2，可以与上述实施例的实施相类似地进行。该第二序列参数组SPS2的示例构造可以参见图7A、7B，第二图像参数组PPS2的示例构造可以参见图8A和8B。在此应注意以下的差别：
在要新建立的第二序列参数组SPS2中应注意的是，由于该第一图像在该第二图像中与上述例子不同的布置，该第二图像的图像大小说明被不同地确定。如果比如假定，该第一图像分别具有作为图像大小的11x9个宏块，那么在把两个第一图像水平组合成该第二图像时就获得了该第二图像直至22x9个宏块的图像大小。该第二序列参数组的相应信令参数由以下来得出：
pic_width_in_mbs_minus1＝22-1＝21以及
pic_height_in_map_units_minus1＝9-1＝8。
在要新确定的第二图像参数组PPS2中必须首先把信令参数“hum_slice_groups_minus1”设置为1，以发出信令：在要建立的编码输出视频流中存在两个片段组。另外还应设置信令参数“slice_group_map_type”，比如“slice_group_map_type”＝2。该第二图像参数组PPS2的以及该第二序列参数组SPS2的其他信令参数与上述例子的实施相类似地进行确定。
图9示出了针对最后一个实施例该第一图像P11_1和P12_1以何种方式和方法被组合为一个第二图像P2_1。在此第一图像水平相邻地被添加到该第二图像中了。与图6的实施相类似，其他的第一图像P11_2、P12_2也可以利用在该实施例中所述的策略而组合为一个新的第二图像P2_2。
在使用在视频编码标准H.264中所定义的宏块配置方法(其也称为宏块灵活排序FMO)时，单个宏块与片段组之间的分配在编码输出视频流中被信令发送。除了一些预先定义的类型之外，还可以进行完全自由的分配。这种分配借助所谓“宏块与片段组的映射”表格而被信令发送。在该表格中为图像的所有宏块分配了相应的“Slice-group，片段组”指数。
在视频编码标准H.264所预先定义的类型中，主要是Typ＝2是非常受关注的，该类型允许定义矩形片段组。在此这些片段组通过相应片段组的左上和右下宏块的地址来定义。从而所有没有被检测到的宏块最后被分配给最后的片段组、所谓的背景片段组(Background Slice-Group)。针对这种按照Typ＝2的配置的一个例子在图10中借助第二图像以CIF格式(CIF-Common Intermediate Format，通用中间格式)的图像大小、也即具有352x288个像点来示出。如果16x16个像点相应地被组合为一个宏块，那么具有大小为11x9个宏块的相应片段组的CIF大小的第二图像就能够具有2x2＝4个片段组。这些宏块地址逐行地、从上到下、以指数0开始来分配。这样，一个第一片段组TB1、也即该编码子图像数据TB1通过左上0和右下186的宏块地址来表示，第二片段组TB2、也即该编码子图像数据TB2通过左上11和右下197的宏块地址来表示，第三片段组TB3、也即该编码子图像数据TB3通过左上198和右下384的宏块地址来表示。所有没被检测到的宏块被分配给最后的片段组TXB，也即右下的图像方块。这样，就可以为编码输入视频流的每个编码图像、也即第一编码图像数据分配相应的片段组TB1，...，TB3。另外借助片段组还可以实现第一图像的垂直布置。在视频编码标准H.264中实现了直至八个片段组。
如果在每个第一编码图像数据中已存在多个片段SL1，...，SL5，那么这些片段可以根据视频编码标准H.264对应于在相应第一图像P11_1、P12_1中的相应布置被插入到相应的片段组TB1、TB2中。这比如可以参见图11。在此该第二图像P2_1的片段组TB1包含有三个片段SL1、SL2、SL3，该片段组TB2包含有两个片段SL4、SL5。在该片段组中属于相应片段的宏块地址必须在片段SL4和SL5的相应片段报头中被匹配。相反，在第一片段组TB1中所存储的片段SL1，...，SL3的宏块的地址可以直接从该编码输入视频流V11的第一信令数据中来复制，其中这些地址相应地被存储在属于片段SL1，...，SL3的片段报头中。
在图10中三个编码输入视频流的第一编码图像数据被插入到相应的片段组TB1、TB2、TB3中，其中由第一编码图像数据所代表的第一图像分别具有QCIF的图像大小。然而视频编码方法H.264也允许该编码子图像数据、也即片段组TB1、TB2、TB3具有不同的图像大小。在图12中可以看到一个关于此的示例配置，其中编码子图像数据TB1代表具有CIF的图像大小的第一图像，编码子图像数据TB2、TB3分别代表具有QCIF大小的编码第一图像。
也可以组合地把片段和片段组用作编码子图像数据。比如应该把新的第一图像或新的不同的编码输入视频流的编码图像数据变换成该编码输出视频流的第二编码图像数据。为此，新的第一编码图像数据相应地被复制到该第二编码图像数据的一个片段中。该第二编码图像数据的各三个片段被组合为一个片段组。如果一个片段组的各个片段上下布置，并且这三个片段组相邻布置，那么就得到了由3x3个第一图像组成的一个第二图像。在该方法策略中从而能够把大量的编码输入视频流变换为该编码输出视频流。
在图10的实施方案的一个扩展中，单个的片段组TB1、TB2和TB3在该第二图像中可以不必直接相邻接，和/或其边缘可以不必一定地与该第二图像的边缘相一致。在此该第一图像或该第一编码图像数据被编码到作为所谓“foreground slice group，前景片段组”的片段组TB1至TB4中，并且从而没有被指示的宏块作为“background slice group，背景片段组”被处理。在前景片段组之间条带(Balken)的宽度在此是宏块宽度的多倍，也即16个像点的多倍。图13示出了在所属编码输出视频流解码之后在输出媒介上的一种可能结果，其中没有被指示的宏块已被显示为黑色。
除了借助视频编码方法H.264的本发明的应用之外，本发明也可以应用于其他的视频编码标准，其中所述其他视频编码标准允许划分整个图像，也即允许该第二编码图像数据划分为各个可分离的编码子图像数据。从而比如在视频编码方法H.263中存在使用片段的一种可选编码模式(Rectangular Slice Submode des Annex K，附录K的矩形片段子模式)。然而，灵活性与H.264相比在此是明显受限的。该第二图像仅能够被划分为具有可变宽度的矩形，其中每个矩形被称为片段。但是每个片段的高度等于该第二图像的高度。这意味着，在标准H.263附录K中与第一图像相对应的片段仅能够相邻地布置在第二图像中。在此，与在前述实施例中所解释的、由比如在图像报头中第一信令数据中的至少一些第一信令数据而进行的第二信令数据匹配相类似地来进行。另外GOB报头(GOB-Group of Block，块组)被片段报头替换，其中在此大多信令参数可以被直接引用。接着该第一解码图像数据、如系数和移动向量在宏块层上直接作为第二编码图像数据而被引用。对于标准H.263附录K，编码图像信息的编码转换也是不必要的。
另外本发明也可以应用于视频编码标准SVC(SVC-Scalable VideoCoding，可伸缩视频编码)。但为此层结构、也即在编码输入视频流中的位置层和SNR层(SNR-Signal-to-Noise-Ratio，信噪比)必须是相同的。那么与在H.264中的编码输入流相类似，该第二序列参数组SPS2可以从各个第一序列参数组SPS11、SPS12中来获取，该第二图像参数组PPS2可以从单个层的第一图像参数组PPS11、PPS12来获取。为此，与上述的H.264的实施相类似，略微对片段报头进行匹配。其他的片段数据、也即第一编码图像数据所包含的比如系数和移动信息则不加变化地直接被引用到该第二编码图像数据中。
本发明的一种重要的应用是在SVC编码输入视频流中的应用。从中可以提取H.264兼容的基本层，由此获得了H.264兼容的编码输入视频流。其接着与上述实施例相类似地被变换到编码输出视频流中。从而在具有不同终端设备的视频会议系统中，具有一个或多个解码器的SVC终端设备就能够获取并处理SVC兼容的编码输入视频流，相反，仅具有唯一一个解码器的常规H.264终端设备获取并解码由H.264兼容的基本层所构成的H.264兼容的编码输出视频流。
本发明的另一有利的实施方案涉及编码输出视频流的数据速率控制。比如对一个或多个终端设备限制了相应的传输信道带宽。因为编码输出视频流的总数据速率原则上由单个编码输入视频流的数据速率之和得到，所以比如在终端设备的单个编码器上直接调节单个编码输入视频流的数据速率是有利的。由此在由编码输入视频流来生成编码输出视频流时避免了费事的转换速率，也即避免了在遵守视频编码标准的情况下数据速率的降低以及时间和位置分辨率的降低。在视频会议中从而一个中央单元、也即一个视频会议控制单元MCU就可以为相应的终端设备确定单个传输信道的可用带宽，并由此导出单个编码器的数据速率。这不仅可以在连接构建时静态地进行，而且如果在此一个或多个传输信道的带宽在时间上发生变化或者新的终端设备加入到视频会议中，那么也可以在视频会议期间动态地进行。在此，对于任何终端设备，单个编码输入视频流的数据速率之和都不允许大于相应可用的带宽。
在把第一编码图像数据B11、B12分组到第二编码图像数据B2中时首先不进行限制。然而在帧间编码时、也即在采用预测时可以部分地在由该第一编码图像数据所描述的第一图像的图像范围之外来进行预测。对于在该图像范围之外的这些像点，各个视频编码方法、诸如H.263或H.264规定了特定的计算规则。但是如果把第一编码图像数据复制到该第二编码图像数据中之后，在第一编码图像数据中位于第一图像之外的预测参照不再位于由该第二编码图像数据所描述的第二图像之外，那么也许实施错误的预测并从而实施错误的解码。因此有利的、但不是强制的是：在建立编码输入视频流时以如下方式进行预测、尤其时间预测：使得其仅仅使用参照仅位于相应第一图像的相应图像范围之中的预测。否则可能导致在编码子图像数据之间的范围中在解码时出现图像干扰。然而这些干扰在帧内编码图像IDR之后消失，其中该帧内编码图像IDR在许多视频编码方法的应用情况中以周期的时间间隔被发送。在具有静态和不移动背景的视频会议应用中，该问题可以被忽略，因为通常不在图像范围之外进行预测。为了在建立编码输出视频流时能够保证编码输入视频流在相应的图像范围之外不具有由预测所建立的参照，该特征可以在相应的编码输入视频流中被信令发送。H.264标准比如为这种信令提供了所谓的SEI消息(SEI-Supplemental Enhancement Information，补充增强消息)。这种SEI消息的语法和语意可以见下文：
mixing_info(payloadSize){
     constraint_inter_pred_flag
}，
其中该信令参数constraint_inter_pred_flag＝1表明在帧间编码时在时间预测的情况下仅允许对相应图像界限之内的参照进行预测。
借助图14来详细解释另一实施例。与图2类似，相应的编码输入视频流V11、V12包含有相应的第一编码图像数据B11、B12和相应的第一信令数据S11、S12。为了建立该第二编码图像数据B2，该第一编码图像数据依次被复制到该第二编码图像数据B2中。为此几乎可以把编码输入视频流之一V11的第一信令数据S11的所有信令参照直接引用为第二信令数据S2。仅须匹配该第二信令数据S2的与第二编码图像数据的数量有关系的那些信令参数，比如由该第二编码图像数据所代表的第二图像的图像大小、或者在编码输出视频流中的位置说明。
该方法的单个步骤借助装置V、VE的工具MM而被实施。该工具可以以软件、硬件或者以软件和硬件的组合来实现或实施。该装置可以应用于视频会议控制单元中。另一应用领域是视频分配服务单元比如视频服务器，该视频服务器比如借助流将多个编码输入视频流的编码视频内容在编码输出视频流中例如在视频预览的范畴内被转换并然后传输到一个或多个终端设备上。

Claims (19)

1.用于由至少两个编码输入视频流(V11，V12)来建立一个编码输出视频流(V2)的方法，用以在该编码输出视频流(V2)的第二图像(P2)中共同显示这些编码输入视频流(V11，V12)的相应的第一图像(P11，P12)，其中
-这些编码输入视频流(V11，V12)包含相应的第一编码图像数据(B11，B12)以及相应的第一信令数据(S11，S12)，其中各第一编码图像数据(B11，B12)分别具有针对第一图像(B11，B12)被编码的图像信息；
-该编码输出视频流(V2)和这些编码输入视频流(V12，V22)具有相同的颜色格式、相同的每编码像点比特分辨率以及相同的图像扫描，并利用相同的视频编码方法被编码；
-该视频编码方法具有至少一种编码模式(K1，K2)，其中该编码输出视频流(V2)的描述该第二图像(P2)的第二编码图像数据(B2)能够被划分为可分离的编码子图像数据(TB1，TB2)；
-该编码输出视频流(V2)利用第二控制数据(S2)和第二编码图像数据(B2)以如下方式被建立，即
-该第二编码图像数据(B2)通过把要同时显示的第一图像(P11，P12)的第一编码图像数据(B11，B12)相应之一复制到该第二图像(P2)的编码子图像数据(TB1，TB2)TB1＝B11，TB2＝B12相应之一中而被生成；
-第二信令数据(S2)至少部分地基于该第一信令数据(S11，S12)而被生成。
2.根据权利要求1所述的方法，
其特征在于，
该第一信令数据(S11，S12)分别通过该第一信令参数(SP11_1，SP11_2，SP12_1，SP12_2)来表示，该第二信令数据(S2)通过该第二信令参数(SP2_1，SP2_2)来表示，
相应的编码输入视频流(V11，V12)的相对应的第一信令参数(SP11_1，SP12_1)被进行如下分析：这些第一信令参数是否具有相同的参数值(PW)，
对于相对应的第一信令参数(SP11_1，SP12_1)具有相同参数值(PW)的情况，该相同的参数值(PW)被分配给与所分析的第一信令参数(SP11_1，SP12_1)相对应的第二信令参数(SP2_1)。
3.根据前述权利要求之一所述的方法，
其特征在于
这些编码输入视频流(V11，V12)分别具有多个第一图像(P11_1，P11_2，P12_1，P12_2)，通过基于第一图像数据(B11_1，B12_1)和第一信令数据(S11_1，S12_1)相应地生成针对编码输入视频流(V11，V12)的相应图像对(P11_1，P12_1)的第二信令数据(S2)和第二编码图像数据(B2)，来建立该编码输出视频流(V2)。
4.根据前述权利要求之一所述的方法，
其特征在于
对于其中编码子图像数据(TB1，TB2)彼此上下布置的第二图像(B2)，位于下面的编码子图像数据(TB2)的第二信令数据的第二信令参数以如下方式被生成：即位于下面的编码子图像数据(TB2)的第一图像块、尤其左上的宏块的地址由位于上面的编码子图像数据(TB1)的最后一个图像块、尤其左下的宏块的地址增加值1来生成。
5.根据前述权利要求之一所述的方法，
其特征在于，
分析相应的第一信令参数，该第一信令参数相应地描述了在第一信令数据(S11，S12)中的量化参数的偏移，如果至少两个被分析的第一信令参数是不同的，则确定所分析的第一信令参数的差值，该差值作为另外的信令参数被插入到该第二信令数据的第二信令参数中，其中所插入的信令参数被分配给以下编码子图像数据(TB1)：在所述编码子图像数据(TB1)中在第一信令数据(S11)中的被分析的第一信令参数与该差值相加相应于其他被分析的第一信令参数之一。
6.根据前述权利要求之一所述的方法，
其特征在于，
在该第一信令数据中相应的第一信令参数被分析，其中该第一信令参数相应描述了在相应的编码输入流(V11，V12)中要考虑的参照图像的最大数量，从所分析的第一信令参数中选择出具有最大参数值的那个信令参数，所选择的信令参数被插入到该第二信令数据中。
7.根据前述权利要求之一所述的方法，
其特征在于，
在第一信令数据中相应的信令参数被分析，其中该信令参数相应描述了解块滤波器的显式或隐式的控制，如果通过分析结果表明了显式以及隐式的控制，则将显式信令作为信令参数插入到属于所述编码子图像数据的第二信令数据中。
8.根据前述权利要求之一所述的方法，
其特征在于，
为了建立用于该第二图像的第二编码图像数据，相应地选择该编码输入视频流的第一图像，使得属于该第一图像的第一编码图像数据处于相同的预测模式中，尤其是帧间编码、帧内编码或双向编码。
9.根据前述权利要求之一所述的方法，
其特征在于，
作为该视频编码方法的编码模式(K1)而选择了一种片段模式，通过该片段模式分别给所述编码子图像数据之一(TB1，TB2)分配一个片段(TB1，TB2)。
10.根据前述权利要求之一所述的方法，
其特征在于，
作为该视频编码方法的编码模式(K1)而选择了一种片段组模式，通过该片段组模式分别给所述编码子图像数据之一(TB1，TB2)分配一个片段组(TB1，TB2)。
11.根据权利要求10所述的方法，
作为视频编码方法而使用了标准ITU H.264，其中使用了一种片段组模式来形成所述编码子图像数据。
12.根据前述权利要求之一所述的方法，
其特征在于，
使用标准ITU H.264、ITU H.263或SVC之一作为编码方法(KV)。
13.根据前述权利要求之一所述的方法，
其特征在于，
所述编码输入视频流(V11，V12)通过从SVC编码的输入流中提取基本层信息而被生成。
14.根据前述权利要求之一所述的方法，
其特征在于，
所述编码输入视频流(V11，V12)基于SVC编码输入流的基本层信息和至少一个增强层信息被生成，其中所提取的层信息具有相同构造的位置层和SNR层(SNR-信噪比)。
15.根据前述权利要求之一所述的方法，
其特征在于，
使用一个或多个编码输入视频流来建立该编码输出视频流，其中这些编码输入视频流分别包含有信令参数，该信令参数表明了仅仅在该第一图像的图像界限之内实施了用于编码相应第一图像的预测。
16.根据权利要求15所述的方法，
其特征在于，
该信令参数借助按照视频编码标准H.264的SEI消息以如下方式被生成：
mixing_info(payloadSize){
constrainT_inter_pred_flag
}
其中字段“payloadSize”描述了该SEI消息的大小，字段“constrainT_inter_pred_flag”的可预先给定的值表明了：用于编码相应第一图像的预测仅仅在该第一图像的图像界限之内被实施。
17.用于由至少两个编码输入视频流(V11，V12)来建立一个编码输出视频流(V2)以在该编码输出视频流(V2)的一个第二图像(P2)中共同显示所述编码输入视频流(V11，V12)的相应的第一图像(P11，P12)的装置(VE)，其中
该装置(VE)至少具有如下工具(MM)：该工具(MM)被构造为能够实施前述方法权利要求至少之一所述的方法步骤。
18.根据权利要求15所述的装置(VE)的使用，
其特征在于，
该装置(VE)被用在用于连接至少两个终端设备(G1，G2，G3)的视频会议控制单元(MCU)中。
19.在根据权利要求1至16之一所述的方法或者在根据权利要求17所述的装置中所使用的编码输入视频流(V11)，
其特征在于，
用于建立该编码输出视频流的编码输入视频流以如下方式被生成：
即它具有信令参数，所述信令参数表明了仅仅在第一图像的图像界限之内来实施用于编码相应的第一图像的预测。
CN2008801115560A 2007-10-15 2008-09-12 用于由至少两个编码输入视频流来建立一个编码输出视频流的方法和装置 Expired - Fee Related CN101822046B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102007049351A DE102007049351A1 (de) 2007-10-15 2007-10-15 Verfahren und Vorrichtung zum Erstellen eines kodierten Ausgangsvideostroms aus mindestens zwei kodierten Eingangsvideoströmen, sowie Verwendung der Vorrichtung und kodierter Eingangsvideostrom
DE102007049351.9 2007-10-15
PCT/EP2008/062115 WO2009049974A2 (de) 2007-10-15 2008-09-12 Verfahren und vorrichtung zum erstellen eines kodierten ausgangsvideostroms aus mindestens zwei kodierten eingangsvideoströmen, sowie verwendung der vorrichtung und kodierter eingangsvideostrom

Publications (2)

Publication Number Publication Date
CN101822046A true CN101822046A (zh) 2010-09-01
CN101822046B CN101822046B (zh) 2013-05-29

Family

ID=40435517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801115560A Expired - Fee Related CN101822046B (zh) 2007-10-15 2008-09-12 用于由至少两个编码输入视频流来建立一个编码输出视频流的方法和装置

Country Status (5)

Country Link
US (1) US8811482B2 (zh)
EP (1) EP2198610B1 (zh)
CN (1) CN101822046B (zh)
DE (1) DE102007049351A1 (zh)
WO (1) WO2009049974A2 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104904146A (zh) * 2013-01-04 2015-09-09 索尼公司 Jctvc-l0226:vps和vps_extension更新
CN105472371A (zh) * 2016-01-13 2016-04-06 腾讯科技（深圳）有限公司 视频码流处理方法和装置
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
CN103703778B (zh) * 2011-07-22 2017-03-22 高通股份有限公司 三维视频编解码器中的深度图的切片标头预测
CN113256485A (zh) * 2021-05-21 2021-08-13 百果园技术(新加坡)有限公司 图像拉伸方法、装置、电子设备和存储介质
CN114650371A (zh) * 2020-12-17 2022-06-21 安讯士有限公司 用于形成组合视频流的组合图像帧的方法和数字摄像机

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2958822B1 (fr) * 2010-04-09 2012-04-13 Canon Kk Procedes de transmission et reception de contenus de donnees, n?uds source et destination, produit programme d'ordinateur et moyen de stockage correspondants
CN101883270A (zh) * 2010-06-10 2010-11-10 上海海事大学 一种在独立视频流中插入相关媒体的方法
WO2012010188A1 (de) 2010-07-23 2012-01-26 Siemens Enterprise Communications Gmbh & Co. Kg Verfahren zur zeitlichen synchronisierung der intrakodierung von verschiedenen unterbildern bei der erzeugung einer mischbildervideosequenz
CN101951504B (zh) * 2010-09-07 2012-07-25 中国科学院深圳先进技术研究院 基于重叠边界的多媒体切片转码方法和系统
US9060174B2 (en) 2010-12-28 2015-06-16 Fish Dive, Inc. Method and system for selectively breaking prediction in video coding
WO2012117744A1 (en) * 2011-03-03 2012-09-07 Panasonic Corporation Method of encoding an image into a coded image, method of decoding a coded image, and apparatuses thereof
CN103404145B (zh) 2011-03-09 2017-03-22 西门子公司 一种用于对数字化图像的序列进行编码的方法
US20130016769A1 (en) 2011-07-17 2013-01-17 Qualcomm Incorporated Signaling picture size in video coding
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
CN103167267A (zh) * 2011-12-14 2013-06-19 北京铭智佳华通信技术有限公司 监控通信控制台
US9992490B2 (en) 2012-09-26 2018-06-05 Sony Corporation Video parameter set (VPS) syntax re-ordering for easy access of extension parameters
US9648319B2 (en) 2012-12-12 2017-05-09 Qualcomm Incorporated Device and method for scalable coding of video information based on high efficiency video coding
US10419778B2 (en) 2013-01-04 2019-09-17 Sony Corporation JCTVC-L0227: VPS_extension with updates of profile-tier-level syntax structure
US9344218B1 (en) * 2013-08-19 2016-05-17 Zoom Video Communications, Inc. Error resilience for interactive real-time multimedia applications
US10204449B2 (en) * 2015-09-01 2019-02-12 Siemens Healthcare Gmbh Video-based interactive viewing along a path in medical imaging
CA3013111C (en) 2016-02-02 2022-08-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Scene section and region of interest handling in video streaming
CN107333133B (zh) * 2016-04-28 2019-07-16 浙江大华技术股份有限公司 一种码流接收设备的码流编码的方法及装置
US10595048B1 (en) * 2018-09-13 2020-03-17 Tencent America LLC Method and device using high layer syntax architecture for coding and decoding
CN111866542B (zh) * 2019-04-30 2022-11-04 腾讯科技（深圳）有限公司 音频信号处理方法、多媒体信息处理方法、装置及电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002351218A1 (en) * 2001-12-04 2003-06-17 Polycom, Inc. Method and an apparatus for mixing compressed video
US7492387B2 (en) 2002-08-05 2009-02-17 Chih-Lung Yang Implementation of MPCP MCU technology for the H.264 video standard
US20050008240A1 (en) * 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
US7139015B2 (en) 2004-01-20 2006-11-21 Polycom, Inc. Method and apparatus for mixing compressed video
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
US20060146734A1 (en) * 2005-01-04 2006-07-06 Nokia Corporation Method and system for low-delay video mixing
CA2615459C (en) 2005-07-20 2012-09-18 Vidyo, Inc. System and method for a conference server architecture for low delay and distributed conferencing applications
US7593032B2 (en) 2005-07-20 2009-09-22 Vidyo, Inc. System and method for a conference server architecture for low delay and distributed conferencing applications
US8436889B2 (en) 2005-12-22 2013-05-07 Vidyo, Inc. System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers
JP4921488B2 (ja) * 2005-12-22 2012-04-25 ヴィドヨ，インコーポレーテッド スケーラブルなビデオ符号化を用いて、またスケーラブルなテレビ会議サーバを複合してテレビ会議を行うためのシステムおよび方法
US8315308B2 (en) * 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
CA2640246C (en) 2006-02-16 2014-12-02 Vidyo, Inc. System and method for thinning of scalable video coding bit-streams
US8619865B2 (en) 2006-02-16 2013-12-31 Vidyo, Inc. System and method for thinning of scalable video coding bit-streams
JP5155323B2 (ja) 2006-09-29 2013-03-06 ヴィドヨ，インコーポレーテッド スケーラブルビデオ符号化サーバ及びマルチキャストを用いる多地点会議のためのシステム及び方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
CN103703778B (zh) * 2011-07-22 2017-03-22 高通股份有限公司 三维视频编解码器中的深度图的切片标头预测
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
CN104904146A (zh) * 2013-01-04 2015-09-09 索尼公司 Jctvc-l0226:vps和vps_extension更新
CN105472371A (zh) * 2016-01-13 2016-04-06 腾讯科技（深圳）有限公司 视频码流处理方法和装置
CN114650371A (zh) * 2020-12-17 2022-06-21 安讯士有限公司 用于形成组合视频流的组合图像帧的方法和数字摄像机
CN114650371B (zh) * 2020-12-17 2024-01-05 安讯士有限公司 用于形成组合视频流的组合图像帧的方法和数字摄像机
CN113256485A (zh) * 2021-05-21 2021-08-13 百果园技术(新加坡)有限公司 图像拉伸方法、装置、电子设备和存储介质
CN113256485B (zh) * 2021-05-21 2024-01-30 百果园技术(新加坡)有限公司 图像拉伸方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
EP2198610B1 (de) 2014-10-29
US20100254458A1 (en) 2010-10-07
WO2009049974A3 (de) 2009-07-02
DE102007049351A1 (de) 2009-04-16
US8811482B2 (en) 2014-08-19
EP2198610A2 (de) 2010-06-23
WO2009049974A2 (de) 2009-04-23
CN101822046B (zh) 2013-05-29

Similar Documents

Publication Publication Date Title
CN101822046B (zh) 用于由至少两个编码输入视频流来建立一个编码输出视频流的方法和装置
JP6070870B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
CA2614016C (en) Moving image encoding device, moving image decoding device, moving image encoding method, and moving image decoding method
CN102150428B (zh) 用于使用自适应分段的视频编码的系统和方法
CN103314592B (zh) 用于选择性地破坏视频编码中的预测的方法和系统
KR101117586B1 (ko) Ｍｐｅｇ-2 시스템에서 향상된 범위성 지원을 위한 시스템및 방법
CN101601300B (zh) 用自适应增强层预测对位深度可分级视频数据进行编码和/或解码的方法和设备
CN102138325B (zh) 利用可伸缩视频编码来提供可选视频的系统和方法
CN101099390B (zh) 为多视图编码排序基准帧
CN103718557A (zh) 用于解码视频的方法
EP3787286A1 (en) Video decoder, video decoding method, and program with variable pixel bit length information
CN106031177A (zh) 用于硬件加速的视频编码的主编码器
TWI650992B (zh) 視訊編碼方法
CN103563388A (zh) 用于解码视频的方法
CN102334336B (zh) 组合数字视频信号的复用方法和相关联的系统
CN102474616B (zh) 用于生成、解码和转码经编码的视频数据流的方法和装置
KR101096802B1 (ko) 비디오 스트림 혼합장치 및 그 방법
CN116325723A (zh) 交叉分量块结束标志编码
CN116420352B (zh) 对视频流中视频块的编码方法、解码方法以及相关装置
Asbun Improvements in wavelet-based rate scalable video compression
KR100256648B1 (ko) 영상 부호화 시스템의 압축 정보 포맷
CN116368801A (zh) 交叉分量变换系数水平重构
CN116547964A (zh) 用于交叉分量级重建的主变换
Duan Wavelet transform-based methods for low bit rate video compression
Bayrakeri Scalable video coding using spatiotemporal interpolation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130529

Termination date: 20170912