CN101803387B - 利用灵活宏块排序对任意数目的源流进行视频合成 - Google Patents

利用灵活宏块排序对任意数目的源流进行视频合成 Download PDF

Info

Publication number
CN101803387B
CN101803387B CN200880106264.8A CN200880106264A CN101803387B CN 101803387 B CN101803387 B CN 101803387B CN 200880106264 A CN200880106264 A CN 200880106264A CN 101803387 B CN101803387 B CN 101803387B
Authority
CN
China
Prior art keywords
slice groups
source
bedding
image
padding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200880106264.8A
Other languages
English (en)
Other versions
CN101803387A (zh
Inventor
兰德尔·B·拜德
阿图罗·A·罗德里谷兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cisco Technology Inc
Original Assignee
Cisco Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cisco Technology Inc filed Critical Cisco Technology Inc
Publication of CN101803387A publication Critical patent/CN101803387A/zh
Application granted granted Critical
Publication of CN101803387B publication Critical patent/CN101803387B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H04N21/440272—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA for performing aspect ratio conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在一个实施例中，一种系统包括合成器，该合成器可操作来接收多个源视频流，并且利用灵活宏块排序(FMO)将每个源视频流转换为源片段组，每个源视频流包含源图像。合成器还可操作来向源片段组添加垫料片段组以创建合成图像，并将源片段组和垫料片段组重新排序为单个合成输出流。一设备接收单个合成输出流，并且将合成图像显示为具有比任何源图像的大小大的大小的矩形影像。要强调的是，提供本摘要是为了符合需要使得搜索者或其它读者快速确定本技术公开的主题的摘要的规则。

Description

利用灵活宏块排序对任意数目的源流进行视频合成
技术领域
本发明一般地涉及通过数字网络进行视频数据传输的领域。
背景技术
对端用户设备上的多媒体内容的日益增长的需求以及可用于递送该内容的有限带宽使得开发出了非常高效且高度稳定的视频编码算法。例如，H.264/AVC(高级视频编码)数字视频编码标准因其可在易产生错误的环境中提供高质量视频而闻名，这种编码标准是由国际电信联盟(ITU)视频编码专家组(VCEG)与国际标准化组织ISO/国际电工技术委员会(IEC)IEC运动图像专家组(MPEG)一起编著的。已出现的称为H.264/SVC(可伸缩视频编码)的、对H.264/AVC的可伸缩扩展定义了包含不可伸缩的基本层以及一个或多个增强层的可伸缩视频比特流。
H.264标准包含称为灵活宏块排序(FMO)的特征，该特征允许多个“不同的片段组(slice group)”以如下方式在H.264影像中被创建：任一宏块(16×16个像素的块)都不被来自同一片段组的任何其它宏块包围。在片段组内部，所有宏块以光栅扫描顺序被排序。基本上，每个片段组就像其自身的小型迷你影像。例如，可对一个片段组进行帧内编码，同时可以根据基准影像中的相同的对应片段组来对相邻组进行预测性编码。比如说对于视频会议，FMO特征使得能够从多个源中取出独立的贡献流(contributing stream)并且将这些流组合成为一个流的合成影像。
发明内容
本发明的一个技术方案提供了一种视频合成方法，该方法包括：由合成器接收多个即N个遵循H.264的源视频流，其中，N是大于1的整数；利用灵活宏块排序(FMO)将所述N个源视频流中的每个源视频流转换为源片段组；将垫料片段组添加到所述源片段组以创建遵循H.264/AVC标准的合成图像；并且将所述源片段组和垫料片段组重新排序为单个合成输出流，所述方法还包括：由解码器接收所述单个合成输出流；识别所述垫料片段组；选择所述源图像，并且：分别显示所述源图像中的每个源图像，或者将所述源图像布置为另一显示格式。
本发明的另一技术方案提供了一种视频合成方法，该方法包括：由合成器将多个即N个源视频流格式化为片段组，其中，N是大于1的整数；创建包括伸缩参数的影像参数集(PPS)，所述伸缩参数被附加到所述片段组中的每个片段组，并且所述伸缩参数包括指示解码器将所述片段组伸缩为产生矩形合成图像的格式的呈现信息。
本发明的又一技术方案提供了一种视频合成设备，该设备包括：用于接收多个即N个源视频流的装置，其中，N是大于1的整数，所述源视频流中的至少两个源视频流具有不同的配置属性；用于利用灵活宏块排序(FMO)将所述N个源视频流中的每个源视频流转换为源片段组的装置；用于将垫料片段组添加到所述源片段组以创建合成图像的装置；以及用于利用任意片段排序(ASO)将所述源片段组和垫料片段组重新排序为单个合成输出流的装置，所述设备还包括：用于接收所述单个合成输出流的装置；用于识别所述垫料片段组的装置；用于选择所述源图像的装置，以及：用于分别显示所述源图像中的每个源图像的装置，或者用于将所述源图像布置为另一显示格式的装置。
本发明的再一技术方案提供了一种视频合成系统，该系统包括：合成器，可操作用于接收多个源视频流，并且利用灵活宏块排序(FMO)将所述源视频流中的每个源视频流转换为源片段组，所述每个源视频流包含源图像，所述合成器还可操作用于向所述源片段组添加垫料片段组以创建合成图像，所述合成器将所述源片段组和所述垫料片段组重新排序为单个合成输出流；以及设备，可操作用于接收所述单个合成输出流，并且将合成图像显示为具有比任何所述源图像的大小大的大小的矩形影像其中，所述设备还可操作用于识别所述垫料片段组，选择所述源图像，并且分别显示所述源图像中的每个源图像或者将所述源图像布置为另一显示格式。
附图说明
将从下面的详细描述和附图更全面地理解本发明，然而，详细描述和附图不应当被认为是将本发明限制为所示出的具体实施例，而是仅用于说明和理解。
图1图示出了示例视频通信系统。
图2A图示出了由图1的合成器产生的示例合成影像。
图2B图示出了由图1的合成器产生的另一示例合成影像。
图3A图示出了由图1的合成器产生的示例合成影像。
图3B图示出了针对图3A的合成影像进行编码得到的片段组的示例集合。
图4A图示出了由合成器进行编码以从四个进入的视频比特流创建影像的片段组的示例集合。
图4B图示出了被生成为单个视频比特流的示例影像，该单个视频比特流包含图4A所示的各个进入的视频图像片段组。
图4C图示出了被生成为单个视频比特流的另一示例影像，该单个视频比特流包含图4A所示的各个进入的视频图像片段组。
图5图示出了图1所示的合成器的操作的示例方法。
图6图示出了示例节点或网络设备的基本组件。
具体实施方式
在下面的描述中，阐述了诸如设备类型、系统配置、协议、应用、方法等之类的具体细节，以提供对这里的公开的透彻理解。然而，相关技术领域的技术人员将会理解，这些具体细节不是实践所描述的实施例所必需的。
在本发明的上下文中，计算机网络是用于在诸如中间节点和端节点(也称为端点)之类的节点之间传送数据的互连子网在地理上的分布式集合。局域网(LAN)是这种子网的示例；多个LAN可以通过诸如路由器、桥接器或交换机之类的中间网络节点而被进一步互连，以扩展计算机网络的有效“大小”并且增加通信节点的数目。设备或节点的示例包括服务器、混合器、控制单元以及个人计算机。通常，节点通过根据预定协议交换数据的离散帧或分组来进行通信。
视频接收机设备表示能够接收、解码或呈现数字视频图像的任何装置、节点、终端或其它设备。视频接收机设备的示例包括视频家电(例如视频监视器等)、个人数字助理(PDA)；诸如笔记本型、膝上型或桌上型计算机之类的个人计算机(PC)；电视设备、机顶盒(STB)、蜂窝电话、视频电话，或者能够接收、解码或呈现数字视频图像的任何其它设备、组件、元件或对象。
诸如贡献流或源流(source stream)之类的视频流是根据诸如ITUH.264之类的视频编码规范进行了编码的影像序列。视频编码规范可以允许在不需要与SVC相对应的递增的增强层的情况下对视频源编码。这里的H.264/SVC流是指除了包含基本层的经编码视频以外还包含至少一个增强层的视频流。
视频合成器(简称为“合成器”)是能够执行如下操作的任何设备：接收两个或更多个数字视频输入流，并且通过对任意的组份流执行最少的或者不执行片段层下的解码或重新编码操作来将它们组合为单个数字视频输出流。
任意片段排序(ASO)是用于重组影像中宏块的顺序的技术，其消除了对等待来自所有源的全部影像集合到达的需要。
概述
在一个实施例中，视频合成器接收多个视频源流。源流可以包括H.264/AVC流、H.264-SVC流，或者H.264/AVC流与H.264/SVC流的组合。遵循H.264标准(例如，将来对现有定义的增强或扩展)的其它类型的流也可以被接收作为视频合成器的输入。合成器首先处理来自每个源流的已有H.264头部以在所产生的组合流中提供适当的信息。头部根据需要从源流中被移除，然而一些经过解析或解译的信息根据需要被保留或修改，以影响组合流中的合成影像。经过处理的头部信息可以包括片段头部、影像参数集、序列参数集以及网络抽象层(NAL)头部。
来自每个流的经编码宏块被保留并被添加到具有影像参数集(PPS)的影像中，影像参数集将它们标识为包含多个片段组的较大合成影像的一部分。由于每个贡献流是影像序列，因此，合成器产生合成影像的序列，其中每个合成影像对应于顺序时间间隔中的相应时间间隔。以如下方式来执行合成：当进行解码和显示时，使得经组合的流能够被可视地同步呈现。从贡献流合成影像的顺序行进可以基于具有在合成操作所对应的时间间隔内的传输或呈现时间的影像。例如可以将与影像相关联的时间表达为相对于基准时钟的时间戳。在一种实现方式中，仅具有在相对应时间间隔内的关联时间的影像被合成。在一个实施例中，仅具有在相对应时间间隔内的关联时间的影像被合成。
利用FMO和ASO技术，可以以时间一致的方式来组合进入的影像以产生合成影像流。ASO提供了将以特定顺序(例如光栅扫描顺序)进行发送或解码的合成影像的各个部分。因此，各个源流不必被延迟以等待来自其它源的流到达。注意，所有合成操作都发生在已编码的域中。通过利用FMO和ASO技术仅对流执行有限的修改，合成器的等待时间被保持为可接受的延时。在一个实施例中，合成影像中的贡献流的光栅扫描顺序被维持达一等待时间量，该等待时间量不会超过典型的视频交换的等待时间(例如，少于20毫秒)。
根据一个实施例，两个或更多个源视频流中的任意数目的源视频流可以被合成在一起。另外，具有多样化的分辨率、高宽比等的源流可以被合成在一起以形成单个较大影像。在具体实施例中，合成器还将不同配置属性(profile)的贡献流组合为单个配置属性。
在另一实施例中，用于合成的最大数目的贡献流被设置为预定阈值。如果贡献流的数目超过了阈值，则具有相同影像分辨率和/或AVC特性的某些贡献流并排地或在彼此的排头处被连接起来作为片段组。
图1图示出了示例视频通信系统10，该系统示出了位于IP网络11上的视频合成器15，其接收三个进入视频源流：由视频源12(源1)产生的H.264/AVC流、由视频源13(源2)产生的H.264/SVC流，以及由视频源14(源3)产生的H.264/SVC流。IP视频终端通过H.320线路连接。在此实施例中，合成器15产生单个较大的遵循H.264/AVC的影像，其具有被接合(pieced)或合成在一起的源影像。该单个较大的遵循H.264/AVC的影像被示为去往接收机(例如，视频终端)17的单个传输流。作为示例，视频终端17可以包括个人计算机(PC)，该个人计算机包括标准音频视频编解码器，并且可操作来从接收到的H.264/AVC流呈现视频图像或影像。
将会理解，在图1的实施例中，无需执行对源图像的伸缩。在三个接合在一起的源影像不形成完整连续的矩形的情况中，可以添加一个或多个另外的“垫料(pad)”片段组，以形成输出到接收机17的单个较大合成影像。垫料片段组可以包括用来填充合成输出影像的一区域的空白的或单色的或其它类型的图像，以使得该较大输出影像形成为矩形形状。本领域从业者将会进一步理解，相对于H.264-SVC流，视频合成器可以减少对流的伸缩，由此使得能够控制合成的整个比特速率。
图2A图示出了所使用的垫料片段组，其示出了由图1的视频合成器15产生的示例合成影像20。如图可见，三个视频源，源1-3分别产生了合成影像的区块或区域21-23，根据源流的影像大小，每个区域具有320×240个像素的大小。然而，由于仅包括了三个源影像，因此合成器创建了第四区域24以产生具有640×480个像素(VGA大小)的矩形形状的合成影像，第四区域24包括可利用恒定的空白色或者替代地利用某种恒定图像启动画面(splash screen)进行编码的垫料片段组。由于影像24利用FMO和ASO技术被合成为多个片段组，因此区域24可以包括单个垫料片段。本领域从业人员将理解，形成背景或填充较大合成影像的区块的垫料片段组可以曾经被帧内编码。
取决于接收机17的精密程度，合成影像20可以如图2A所示那样被呈现，或者替代地，被呈现为320×720影像26(图2B所示)或960×240影像(未示出)。注意，由于合成影像20比每个原始的源影像大，因此，接收机编解码器可能需要协商较高的比特速率来接收合成图像。然而，实际经编码的影像仍然完全遵循H.264-AVC，这意味着其应当可由大多数(如果不是所有的话)现有解码器进行解码。更高级的解码器可以取用得到的图像，并根据需要对其进行伸缩以用于呈现。
作为另一示例，由一个通用图像格式(CIF)图像(352×288个像素)和四个四分之一CIF(QCIF)图像(每个图像具有176×144个像素)构成的五个视频源可由图1的合成器片装在一起，以形成单个VGA大小的图像(640×480个像素)。
图3A图示出了由图1的合成器产生的另一示例合成影像30。与先前示例中一样，视频合成器将源图像转换为较大图像的片段组，并且随后添加“垫料片段组”以创建遵循现有H.264-AVC标准的图像。图3A的影像30是由如下四个源影像构成的单个VGA大小的图像(640×480个像素)：位于左上区域31中的单个320×240影像(源1)，以及位于分别位于影像30的区域32-34内的三个160×120影像36、38和40(源2- 4)。阴影区块37、39和41包括分别用于源图像36、38和40的无损编码背景。注意，每个片段组独立于所有其它片段组被编码。
图3B图示出了针对图3A的合成影像30编码得到的片段组的示例集合。注意，片段1对来自源1的图像编码，片段4对来自源2的图像编码，片段9对来自源3的图像编码，并且片段11对来自源4的图像编码。其余片段组(片段2-3、5-8、10以及12-13)包括经编码以为较小(160×120)图像提供背景或填充颜色的垫料片段组。
在某些实施例中，除了利用简单的恒定图像对垫料片段组编码以外，还可以利用容易将垫料片段组标识为垫料区域的不同图案来强调(key)垫料片段组。这种强调可以包括少量的PCM编码的宏块，这些宏块具有指示它们包括用于源影像的填料(padding)的特有图案。简单的解码器可以呈现这些垫料片段组而仅给垫料图像带来极少损害。增强型或更精密的解码器可以检测到这些被强调的片段组，并且认识到所有其它片段组是各个合成的图像。这将允许解码器独立地伸缩并呈现每个合成片段组，从而产生增强的呈现。
图4A图示出了以从四个较小的进入视频比特流创建大的合成影像45的方式组织的片段组的示例集合。影像45可由合成器输出为被发送到一个或多个接收机设备的单个视频比特流。四个进入视频比特流的每个的影像图像被示为：作为160×120图像(V1)的片段组3、作为另一160×120图像(V2)的片段组10、作为320×240图像(V3)的片段组11，以及作为另一320×240图像(V4)的片段组12。可以对添加到影像45中的垫料片段组编码以产生围绕较小的V1和V2图像的统一背景(例如，彩色或空白区块)。即是说，片段组1、2、4和5包括为视频图像V1(片段组3)提供背景区域的垫料片段组，并且片段组6、7、8和9包括为视频图像V2(片段组10)提供背景区域的垫料片段组。
应当明白，可以利用FMO以各种由直线构成的形状来产生合成图像中的垫料片段组，而不局限于矩形。本领域从业人员将会理解，FMO包括可以用来标记感兴趣宏块区域的多种不同类型的图案。
图4B图示出了从图4A所示的视频图像片段组产生的示例影像50。影像50可以由能够接收包括图4A所示的片段组的单个传输比特流的视频编解码器生成。这里，解码器已经丢弃了垫料片段组，并且在影像左侧将视频图像V1布置在V2之上，将图像V3布置在中间，并将V4布置在右侧。在此布置中，合成影像50具有800×240个像素的大小。
图4C图示出了从图4A所示的视频图像片段产生的另一示例影像52。在此示例中，解码器将视频图像V3布置最上面，并且在V4之上，同时将图像V1和V2并排地布置在影像底部。在此布置中，合成影像52具有320×600个像素的大小。
图5图示出了图1所示的合成器的操作的示例方法。处理开始于其每个具有不同配置属性(例如，一些为AVC并且其它为SVC，具有多种分辨率和帧率)的多个H.264视频流被合成器获取(块53)。基本地，合成器利用FMO将这些流的每个转换为分离的片段组，并且随后利用ASO将它们输出为单个流。即，多个进入的视频比特流被组织为包括合成影像的单个比特流，该合成影像包括多个被获取的视频比特流。
为了获得该结果，合成器首先从每个进入流中去除已有的H.264头部信息(块54)。一旦进入的H.264的头部被剥离，合成器就将宏块从源流转换为片段组(块55)。每个源视频图像可以包括单个片段；然而，由于分离的源图像被合成为较大影像，因此，可能需要添加垫料片段组以创建与某种输出显示格式相符的矩形合成影像大小。然后，利用FMO和ASO技术将片段组重新排序为具有适当片段组头部的单个合成输出流(块56)。如前面所讨论的，接收输出流的、遵循H.264/AVC的解码器可以简单地将合成影像呈现为具有给定的填料区域布置的大的矩形。更高级的解码器可以具有如下能力：识别包含在输出流中的填料信息，选择有效的视频部分，并且分别地显示它们或者将它们布置为另一显示格式。
在另一实施例中，将进入流格式化为片段组的视频合成器创建具有新的(例如专用的)字段的影像参数集，这些新字段将伸缩参数(scalingparameter)附加到每个片段组。这些伸缩参数可以指示解码器将片段组(无论它们当前的宽度和高度如何)呈现为N个宏块宽乘以M个宏块高的图像，其中，N和M为整数。伸缩参数还可以向解码器指示影像是否应当被延展、裁剪、填充或者它们的某种组合，以获得新的经伸缩的格式。然后，利用FMO和ASO技术将片段组置于特定坐标系中。然而，片段组不一定被相加成为形成矩形的图像。而是，伸缩参数将确保解码器将各个片段组伸缩为矩形。
图6图示出了示例网络设备或节点60(例如，合成器或接收机设备)的基本组件。节点60通常包括多个基本子系统，这多个基本子系统包括处理器子系统61、主存储器62以及输入/输出(I/O)子系统65。数据在主存储器(“系统存储器”)62与处理器子系统61之间通过存储器总线63传送，并且在处理器与I/O子系统之间通过系统总线66传送。系统总线的示例可以包括传统的闪电数据传输(或高速传输)总线以及传统的外围组件互连(PCI)总线。节点60还可以包括耦合到系统总线66的、用于执行其它功能的其它硬件单元/模块64。处理器子系统61可以包括一个或多个处理器以及控制器设备，控制器设备并入了包括系统存储器控制器在内的一组功能，该组功能支持一个或多个系统总线以及直接存储器访问(DMA)引擎。
应当明白，本发明的元件还可以被提供为可以包括机器可读介质的计算机程序产品，机器可读介质上存储有可用来对计算机(例如，处理器或其它电子设备)编程以执行操作序列的指令。替代地，操作可由硬件和软件的组合来执行。机器可读介质可以包括但不限于软盘、光盘、CD-ROM以及磁光盘，ROM、RAM、EPROM、EEPROM、磁卡或光学卡、传播介质或者适合于存储电子指令的其它类型的媒体/机器可读介质。例如，本发明的元件可以作为计算机程序产品被下载，其中，程序可以经由通信链路(例如，调制解调器或网络连接)以在载波或其它传播介质中包含的数据信号的方式从远程计算机或电话设备被传送到作出请求的进程。
另外，虽然已结合具体实施例描述了本发明，然而，各种修改和变更也将在本发明的范围内。因此，说明书和附图应被认为是说明性的而非限制性的意思。

Claims (18)

1.一种视频合成方法，包括：
由合成器接收多个即N个遵循H.264的源视频流，其中，N是大于1的整数；
利用灵活宏块排序FMO将所述N个源视频流中的每个源视频流转换为源片段组；
将垫料片段组添加到所述源片段组以创建遵循H.264/AVC标准的合成图像，其中从源视频流合成影像的顺序行进基于具有在合成操作所对应的时间间隔内的呈现时间的影像，其中所述垫料片段组被添加以创建与输出显示格式相符的矩形合成影像大小，并且其中利用容易将垫料片段组标识为垫料区域的不同图案来强调所述垫料片段组；并且
创建包括伸缩参数的影像参数集PPS，所述伸缩参数被附加到所述片段组中的每个片段组，并且所述伸缩参数包括指示解码器将所述片段组伸缩为产生矩形合成图像的格式的呈现信息；并且
将所述源片段组和垫料片段组重新排序为单个合成输出流。
2.如权利要求1所述的方法，其中，所述遵循H.264的源视频流中的每个源视频流具有不同的影像配置属性。
3.如权利要求1所述的方法，其中，所述多个遵循H.264的源视频流包括至少一个H.264/SVC流。
4.如权利要求1所述的方法，其中，所述多个遵循H.264的源视频流包括一个或多个H.264/AVC流以及一个或多个H.264/SVC流。
5.如权利要求1所述的方法，其中，所述合成图像具有矩形形状，并且包括所述源视频流中的每个源视频流的源图像。
6.如权利要求1所述的方法，其中，所述合成图像具有矩形形状，并且具有比任何源图像的大小大的大小。
7.如权利要求1所述的方法，还包括：从所述源视频流中的每个源视频流中去除H.264头部信息。
8.如权利要求1所述的方法，其中，所述重新排序是利用任意片段排序ASO实现的。
9.如权利要求1所述的方法，还包括：由解码器将所述合成图像呈现为包括由所述垫料片段组定义的一个或多个垫料区域的大的矩形影像。
10.如权利要求5所述的方法，还包括：利用一图案来强调所述垫料片段组，所述图案将所述垫料片段组标识为所述源图像的填料。
11.如权利要求5所述的方法，还包括：
由解码器接收所述单个合成输出流；
识别所述垫料片段组；
选择所述源图像，并且：
分别显示所述源图像中的每个源图像，或者
将所述源图像布置为另一显示格式。
12.一种视频合成设备，包括：
用于接收多个即N个源视频流的装置，其中，N是大于1的整数，所述源视频流中的至少两个源视频流具有不同的配置属性；
用于利用灵活宏块排序FMO将所述N个源视频流中的每个源视频流转换为源片段组的装置；
用于将垫料片段组添加到所述源片段组以创建合成图像的装置，其中从源视频流合成影像的顺序行进基于具有在合成操作所对应的时间间隔内的呈现时间的影像，其中所述垫料片段组被添加以创建与输出显示格式相符的矩形合成影像大小，并且其中利用容易将垫料片段组标识为垫料区域的不同图案来强调所述垫料片段组；以及
用于创建包括伸缩参数的影像参数集PPS的装置，所述伸缩参数被附加到所述片段组中的每个片段组，并且所述伸缩参数包括指示解码器将所述片段组伸缩为产生矩形合成图像的格式的呈现信息；以及
用于利用任意片段排序ASO将所述源片段组和垫料片段组重新排序为单个合成输出流的装置。
13.如权利要求12所述的设备，其中，所述合成图像具有遵循H.264标准的格式。
14.如权利要求12所述的设备，其中，所述合成图像具有矩形形状，并且包括所述源视频流中的每个源视频流的源图像。
15.如权利要求12所述的设备，其中，所述多个源视频流包括一个或多个H.264/AVC流以及一个或多个H.264/SVC流。
16.如权利要求12所述的设备，还包括用于从所述源视频流中的每个源视频流中去除头部信息的装置。
17.一种视频合成系统，包括：
合成器，可操作用于接收多个源视频流，并且利用灵活宏块排序FMO将所述源视频流中的每个源视频流转换为源片段组，所述每个源视频流包含源图像，所述合成器还可操作用于向所述源片段组添加垫料片段组以创建合成图像，并且创建包括伸缩参数的影像参数集PPS，所述伸缩参数被附加到所述片段组中的每个片段组，并且所述伸缩参数包括指示解码器将所述片段组伸缩为产生矩形合成图像的格式的呈现信息，所述合成器将所述源片段组和所述垫料片段组重新排序为单个合成输出流，其中从源视频流合成影像的顺序行进基于具有在合成操作所对应的时间间隔内的呈现时间的影像，其中所述垫料片段组被添加以创建与输出显示格式相符的矩形合成影像大小，并且其中利用容易将垫料片段组标识为垫料区域的不同图案来强调所述垫料片段组；以及
设备，可操作用于接收所述单个合成输出流，并且将合成图像显示为具有比任何所述源图像的大小大的大小的矩形影像。
18.如权利要求17所述的系统，其中，所述设备还可操作用于识别所述垫料片段组，选择所述源图像，并且分别显示所述源图像中的每个源图像或者将所述源图像布置为另一显示格式。
CN200880106264.8A 2007-09-10 2008-09-08 利用灵活宏块排序对任意数目的源流进行视频合成 Expired - Fee Related CN101803387B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/900,189 US8457214B2 (en) 2007-09-10 2007-09-10 Video compositing of an arbitrary number of source streams using flexible macroblock ordering
US11/900,189 2007-09-10
PCT/US2008/075550 WO2009035936A1 (en) 2007-09-10 2008-09-08 Video compositing of an arbitrary number of source streams using flexible macroblock ordering

Publications (2)

Publication Number Publication Date
CN101803387A CN101803387A (zh) 2010-08-11
CN101803387B true CN101803387B (zh) 2014-03-19

Family

ID=40261285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880106264.8A Expired - Fee Related CN101803387B (zh) 2007-09-10 2008-09-08 利用灵活宏块排序对任意数目的源流进行视频合成

Country Status (4)

Country Link
US (2) US8457214B2 (zh)
EP (1) EP2198617B1 (zh)
CN (1) CN101803387B (zh)
WO (1) WO2009035936A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060271990A1 (en) * 2005-05-18 2006-11-30 Rodriguez Arturo A Higher picture rate HD encoding and transmission with legacy HD backward compatibility
US7991236B2 (en) * 2006-10-16 2011-08-02 Nokia Corporation Discardable lower layer adaptations in scalable video coding
US9571902B2 (en) * 2006-12-13 2017-02-14 Quickplay Media Inc. Time synchronizing of distinct video and data feeds that are delivered in a single mobile IP data network compatible stream
EP2177010B1 (en) 2006-12-13 2015-10-28 Quickplay Media Inc. Mobile media platform
US8457214B2 (en) 2007-09-10 2013-06-04 Cisco Technology, Inc. Video compositing of an arbitrary number of source streams using flexible macroblock ordering
US9602821B2 (en) * 2008-10-01 2017-03-21 Nvidia Corporation Slice ordering for video encoding
US20110200093A1 (en) * 2010-02-15 2011-08-18 Lctank Llc Method and apparatus for transmitting and receiving video and video links
US8411970B2 (en) 2010-03-16 2013-04-02 Pixia Corp. Method and system for determining statistical data for image pixels having a higher bit depth per band
US8482593B2 (en) * 2010-05-12 2013-07-09 Blue Jeans Network, Inc. Systems and methods for scalable composition of media streams for real-time multimedia communication
CN102387338B (zh) * 2010-09-03 2017-04-12 中兴通讯股份有限公司 分布式视频处理方法及视频会议系统
US9124757B2 (en) 2010-10-04 2015-09-01 Blue Jeans Networks, Inc. Systems and methods for error resilient scheme for low latency H.264 video coding
US8786670B2 (en) 2010-10-14 2014-07-22 Cisco Technology, Inc. Network synchronization video for composite video streams
US9369673B2 (en) 2011-05-11 2016-06-14 Blue Jeans Network Methods and systems for using a mobile device to join a video conference endpoint into a video conference
US9300705B2 (en) 2011-05-11 2016-03-29 Blue Jeans Network Methods and systems for interfacing heterogeneous endpoints and web-based media sources in a video conference
US9965520B2 (en) * 2011-06-17 2018-05-08 Microsoft Corporation Efficient logical merging over physically divergent streams
JP5942617B2 (ja) * 2012-06-11 2016-06-29 ソニー株式会社 電子機器、電子機器におけるストリーム送受信方法、プログラム、ホストデバイスおよびホストデバイスにおけるストリーム送受信方法
KR101955202B1 (ko) * 2012-10-31 2019-03-07 삼성에스디에스 주식회사 다자간 영상 통화 장치 및 이를 이용한 다자간 영상 출력 방법
KR20150008739A (ko) * 2013-07-15 2015-01-23 주식회사 케이티 개인화된 비디오 기반의 화면을 제공하는 서버 및 방법, 그리고 디바이스
KR101459557B1 (ko) * 2013-07-15 2014-11-17 주식회사 케이티 실시간 시청률에 기반한 모자이크 채널 가이드를 제공하는 서버 및 방법
KR20150009122A (ko) * 2013-07-15 2015-01-26 주식회사 케이티 지역 광고를 합성하는 서버 및 장치, 그리고 영상 스트림을 합성하는 서버
KR20160053988A (ko) 2013-10-25 2016-05-13 미디어텍 인크. 전송 동기화 이벤트에 따라 압축된 픽처의 전송을 제어하는 방법 및 장치
CN104754282A (zh) * 2013-12-23 2015-07-01 鸿富锦精密工业（深圳）有限公司 基于ip的视频会议控制系统及方法
US9031138B1 (en) * 2014-05-01 2015-05-12 Google Inc. Method and system to combine multiple encoded videos for decoding via a video docoder
US9426523B2 (en) 2014-06-25 2016-08-23 International Business Machines Corporation Video composition by dynamic linking
FR3030978A1 (fr) * 2014-12-23 2016-06-24 Orange Generation d'une mosaique de videos
JP6387511B2 (ja) * 2016-06-17 2018-09-12 株式会社アクセル 画像データ処理方法
JP6732337B2 (ja) 2016-12-09 2020-07-29 株式会社アクセル 画像データ処理方法
WO2018105515A1 (ja) 2016-12-09 2018-06-14 株式会社アクセル 画像データ処理方法
JP7212611B2 (ja) * 2017-02-27 2023-01-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
US20180278947A1 (en) * 2017-03-24 2018-09-27 Seiko Epson Corporation Display device, communication device, method of controlling display device, and method of controlling communication device
US10567703B2 (en) 2017-06-05 2020-02-18 Cisco Technology, Inc. High frame rate video compatible with existing receivers and amenable to video decoder implementation
CN109963185B (zh) * 2017-12-26 2022-09-02 杭州海康威视数字技术股份有限公司 视频数据发送方法、视频显示方法、装置、系统及设备
EP3618442B1 (en) * 2018-08-27 2020-09-30 Axis AB An image capturing device, a method and computer program product for forming an encoded image
US20230412753A1 (en) * 2022-06-15 2023-12-21 Honeywell International Inc. Apparatuses, computer program products, and computer-implemented methods for hardware-accelerated video stream synthesizing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1336764A (zh) * 2000-06-02 2002-02-20 索尼公司 图像编码装置和方法、图像解码装置和方法、记录载体
CN1973546A (zh) * 2004-03-09 2007-05-30 汤姆森研究基金公司 用于高级视频编码的降低分辨率更新模式

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0439471A1 (de) 1988-09-13 1991-08-07 Deutsche Thomson-Brandt Gmbh Übertragungssystem
DE59010184D1 (de) 1989-11-14 1996-04-11 Thomson Brandt Gmbh Übertragungssystem
JP2962083B2 (ja) 1993-01-22 1999-10-12 松下電器産業株式会社 解像度変換方法、解像度変換装置、画像符号化装置、画像復号化装置
US5444491A (en) * 1993-02-26 1995-08-22 Massachusetts Institute Of Technology Television system with multiple transmission formats
US5408270A (en) * 1993-06-24 1995-04-18 Massachusetts Institute Of Technology Advanced television system
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
US5966120A (en) 1995-11-21 1999-10-12 Imedia Corporation Method and apparatus for combining and distributing data with pre-formatted real-time video
WO1998000952A1 (fr) * 1996-07-02 1998-01-08 Sony Corporation Emetteur d'informations et procede d'emission d'informations
DE69725533T2 (de) * 1996-08-30 2004-05-19 Matsushita Electric Industrial Co., Ltd., Kadoma Digitales Rundfunksystem, digitale Rundfunkvorrichtung und Empfänger dafür
US5923820A (en) * 1997-01-23 1999-07-13 Lexmark International, Inc. Method and apparatus for compacting swath data for printers
JPH10248051A (ja) 1997-03-05 1998-09-14 Matsushita Electric Ind Co Ltd ディジタルデータ送信方法、ディジタルデータ送信装置およびディジタルデータ受信装置
WO1998043423A1 (fr) 1997-03-25 1998-10-01 Sony Corporation Procede et dispositif generant un flux d'acheminement et dispositif de transmission de programme
US6369861B1 (en) 1997-03-31 2002-04-09 Matsushita Electric Industrial Co., Ltd. Program selection system for a digital television receiver
US6801575B1 (en) * 1997-06-09 2004-10-05 Sharp Laboratories Of America, Inc. Audio/video system with auxiliary data
JP3791720B2 (ja) 1997-06-11 2006-06-28 ソニー株式会社 伝送装置及び伝送方法
US6212680B1 (en) 1998-03-04 2001-04-03 Kabushiki Kaisha Toshiba Multi-channel electronic programming guide and soft picture-in-picture acquisition for use with digital television
US6292512B1 (en) 1998-07-06 2001-09-18 U.S. Philips Corporation Scalable video coding system
US6208382B1 (en) * 1998-07-29 2001-03-27 Florida Atlantic University Color video processing system and method
KR100385968B1 (ko) * 1998-12-09 2003-07-16 삼성전자주식회사 디스플레이 포맷 및/또는 프레임 레이트가 서로 다른 신호들을동시에 표시하는 수신기와 그 표시방법
JP2000209580A (ja) 1999-01-13 2000-07-28 Canon Inc 画像処理装置およびその方法
US6658056B1 (en) 1999-03-30 2003-12-02 Sony Corporation Digital video decoding, buffering and frame-rate converting method and apparatus
US6700624B2 (en) * 1999-12-30 2004-03-02 Lg Electronics Inc. Combined terrestrial wave/cable broadcast receiver and program information processing method therefor
EP1926323A3 (en) 2000-01-10 2008-06-25 Koninklijke Philips Electronics N.V. Method of setting a system time clock at the start of an MPEG sequence
US7975277B1 (en) 2000-04-03 2011-07-05 Jerding Dean F System for providing alternative services
US7647619B2 (en) 2000-04-26 2010-01-12 Sony Corporation Scalable filtering table
US7020205B1 (en) 2000-07-12 2006-03-28 Thomson Licensing Sending progressive video sequences suitable for MPEG and other data formats
JP3561485B2 (ja) * 2000-08-18 2004-09-02 株式会社メディアグルー 符号化信号分離・合成装置、差分符号化信号生成装置、符号化信号分離・合成方法、差分符号化信号生成方法、符号化信号分離・合成プログラムを記録した媒体および差分符号化信号生成プログラムを記録した媒体
US20020037046A1 (en) 2000-09-22 2002-03-28 Philips Electronics North America Corporation Totally embedded FGS video coding with motion compensation
US6996101B2 (en) 2000-11-29 2006-02-07 International Business Machines Corporation Re-mapping and interleaving transport packets of multiple transport streams for processing by a single transport demultiplexor
US6765966B2 (en) * 2000-12-19 2004-07-20 General Instrument Corporation Methods and apparatus for re-encoding a high definition television signal to create a standard definition television signal
US7627887B2 (en) * 2001-04-30 2009-12-01 Scientific- Atlanta, Inc. System and method for multicasting packets in a subscriber network
KR20040028741A (ko) 2001-08-09 2004-04-03 마츠시타 덴끼 산교 가부시키가이샤 Ｉｐｍｐ(지적 재산권 관리 및 보호) 시스템을 위한통합적인 권리 관리
US6956600B1 (en) 2001-09-19 2005-10-18 Bellsouth Intellectual Property Corporation Minimal decoding method for spatially multiplexing digital video pictures
EP1440580A1 (en) * 2001-10-19 2004-07-28 Koninklijke Philips Electronics N.V. An apparatus, a record carrier and a method for reproducing video data signals
US7693220B2 (en) * 2002-01-03 2010-04-06 Nokia Corporation Transmission of video information
US7477324B2 (en) 2002-01-11 2009-01-13 Pace Micro Technology Plc Transmission system
FI114527B (fi) 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
US7346054B2 (en) 2002-08-29 2008-03-18 Broadcom Corporation Method and system for co-relating transport packets on different channels using a cyclic redundancy check (CRC)
FR2849327A1 (fr) * 2002-12-20 2004-06-25 St Microelectronics Sa Procede et dispositif de decodage audio/video, circuit pilote video et boitier decodeur l'incorporant
JP3908691B2 (ja) * 2003-04-28 2007-04-25 株式会社東芝 情報記録媒体、録画前処理方法、情報記録方法、情報再生方法、情報記録装置および情報再生装置
US20040244059A1 (en) * 2003-05-30 2004-12-02 Lsi Logic Corporation Digital set-top box transmodulator
US20050036067A1 (en) 2003-08-05 2005-02-17 Ryal Kim Annon Variable perspective view of video images
US7366462B2 (en) * 2003-10-24 2008-04-29 Qualcomm Incorporated Method and apparatus for seamlessly switching reception between multimedia streams in a wireless communication system
KR100597402B1 (ko) 2003-12-01 2006-07-06 삼성전자주식회사 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
KR101117586B1 (ko) 2003-12-03 2012-02-27 코닌클리케 필립스 일렉트로닉스 엔.브이. Ｍｐｅｇ-2 시스템에서 향상된 범위성 지원을 위한 시스템및 방법
US7594254B2 (en) * 2004-03-22 2009-09-22 Cox Communications, Inc System and method for transmitting files from a sender to a receiver in a television distribution network
TWI237496B (en) 2004-03-24 2005-08-01 Realtek Semiconductor Corp Method and apparatus for de-interlacing video data through utilizing motion compensation
US8000585B2 (en) 2004-04-07 2011-08-16 Panasonic Corporation Information recording medium wherein stream convertible at high-speed is recorded, and recording apparatus and recording method therefor
US20060023748A1 (en) * 2004-07-09 2006-02-02 Chandhok Ravinder P System for layering content for scheduled delivery in a data network
US7636933B2 (en) 2004-07-15 2009-12-22 At&T Intellectual Property I, L.P. Human factors-based video compression
US9071847B2 (en) * 2004-10-06 2015-06-30 Microsoft Technology Licensing, Llc Variable coding resolution in video codec
DE102004059993B4 (de) * 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
EP1667448A1 (en) * 2004-12-02 2006-06-07 Deutsche Thomson-Brandt Gmbh Method and apparatus for encoding and for decoding a main video signal and one or more auxiliary video signals
US20060146734A1 (en) * 2005-01-04 2006-07-06 Nokia Corporation Method and system for low-delay video mixing
US20060271990A1 (en) * 2005-05-18 2006-11-30 Rodriguez Arturo A Higher picture rate HD encoding and transmission with legacy HD backward compatibility
US7747921B2 (en) * 2005-08-05 2010-06-29 Sony Corporation Systems and methods for transmitting data over lossy networks
CN101371312B (zh) * 2005-12-08 2015-12-02 维德约股份有限公司 用于视频通信系统中的差错弹性和随机接入的系统和方法
EP1985116A4 (en) 2005-12-22 2013-06-05 Vidyo Inc SYSTEM AND METHOD FOR VIDEO CONFERENCES USING SCALABLE VIDEO CODING AND COMPOSITION OF SCALABLE VIDEO CONFERENCE SERVER
WO2007124491A2 (en) * 2006-04-21 2007-11-01 Dilithium Networks Pty Ltd. Method and system for video encoding and transcoding
US8582663B2 (en) * 2006-08-08 2013-11-12 Core Wireless Licensing S.A.R.L. Method, device, and system for multiplexing of video streams
US8457214B2 (en) 2007-09-10 2013-06-04 Cisco Technology, Inc. Video compositing of an arbitrary number of source streams using flexible macroblock ordering

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1336764A (zh) * 2000-06-02 2002-02-20 索尼公司 图像编码装置和方法、图像解码装置和方法、记录载体
CN1973546A (zh) * 2004-03-09 2007-05-30 汤姆森研究基金公司 用于高级视频编码的降低分辨率更新模式

Also Published As

Publication number Publication date
US8457214B2 (en) 2013-06-04
US8934553B2 (en) 2015-01-13
US20090067507A1 (en) 2009-03-12
CN101803387A (zh) 2010-08-11
US20130272431A1 (en) 2013-10-17
EP2198617B1 (en) 2012-12-19
WO2009035936A1 (en) 2009-03-19
EP2198617A1 (en) 2010-06-23

Similar Documents

Publication Publication Date Title
CN101803387B (zh) 利用灵活宏块排序对任意数目的源流进行视频合成
US8872881B2 (en) Minimal decoding method for spatially multiplexing digital video pictures
US6195116B1 (en) Multi-point video conferencing system and method for implementing the same
EP2735166B1 (en) Transmission of reconstruction data in a tiered signal quality hierarchy
CN100531298C (zh) 用于执行画中画功能的多媒体信号匹配系统和方法
CN102474635A (zh) 用于3d tv的立体视图的同播
KR20150083012A (ko) 다중 영상의 단일 비트 스트림 생성방법 및 생성장치
CN104754358B (zh) 码流的生成和处理方法、装置及系统
CN107087204A (zh) 图像解码方法及使用其的装置
CN110035331A (zh) 一种媒体信息的处理方法及装置
CN107113447A (zh) 高帧速率‑低帧速率传输技术
CN110506421A (zh) 用于以媒体应用程序格式发信号通知可伸缩视频的系统和方法
US10666903B1 (en) Combining encoded video streams
CN109963176A (zh) 视频码流处理方法、装置、网络设备和可读存储介质
US20090003270A1 (en) Server-Driven Progressive Image Transmission
KR20180116835A (ko) 비디오 비트 스트림 혼합 방법 및 이를 수행하는 장치
CN110022481A (zh) 视频码流的解码、生成方法及装置、存储介质、电子装置
US6560280B1 (en) Video transmission system
US11457053B2 (en) Method and system for transmitting video
JP5961317B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP2004537931A (ja) シーンを符号化する方法及び装置
CN106134206A (zh) 发送装置、发送方法、接收装置以及接收方法
CN107534786A (zh) 传输装置、传输方法、图像处理装置、图像处理方法、接收装置、及接收方法
Lafruit et al. View-dependent, scalable texture streaming in 3-D QoS with MPEG-4 visual texture coding
KR20050024104A (ko) 객체기반 다시점 비디오 서비스 시스템 및 그 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140319

Termination date: 20210908

CF01 Termination of patent right due to non-payment of annual fee