CN102138325B - 利用可伸缩视频编码来提供可选视频的系统和方法 - Google Patents

利用可伸缩视频编码来提供可选视频的系统和方法 Download PDF

Info

Publication number
CN102138325B
CN102138325B CN2009801327357A CN200980132735A CN102138325B CN 102138325 B CN102138325 B CN 102138325B CN 2009801327357 A CN2009801327357 A CN 2009801327357A CN 200980132735 A CN200980132735 A CN 200980132735A CN 102138325 B CN102138325 B CN 102138325B
Authority
CN
China
Prior art keywords
sequence
additional content
svc
stream
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009801327357A
Other languages
English (en)
Other versions
CN102138325A (zh
Inventor
S·本-泽德夫
Y·威纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Avaya Technology LLC
Original Assignee
Radvision Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Radvision Ltd filed Critical Radvision Ltd
Publication of CN102138325A publication Critical patent/CN102138325A/zh
Application granted granted Critical
Publication of CN102138325B publication Critical patent/CN102138325B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开提供了利用可伸缩视频编码来提供可选视频的系统、方法和介质。在一些实施例中，提供了利用可伸缩视频编码来提供可选视频的系统，所述系统包括：具有可伸缩视频编码能力的编码器，用于接收基本内容序列和具有与基本内容流不同的内容的至少一个附加内容序列，并产生至少一个SVC流，所述SVC流包括与基本内容序列对应的基本层和与所述至少一个附加内容序列中的内容对应的至少一个增强层；和数字处理设备，用于控制是否在SVC流的目的地处显示SVC流中的至少一个增强层。

Description

利用可伸缩视频编码来提供可选视频的系统和方法
相关申请的交叉参考 
本申请要求2008年7月10日提交的美国专利申请No.12/170,674的权益，其全部内容通过引用合并于此。 
技术领域
本公开的主题涉及利用可伸缩视频编码来提供可选视频的系统、方法和介质。 
背景技术
数字视频系统已广泛用于从娱乐到视频会议的各种用途。许多数字视频系统需要向不同的接收者提供不同的视频信号。这可以是一个相当复杂的过程。 
例如，常规上，当期望向不同的接收者提供不同的内容时，需要向每个接收者提供独立的视频编码器。这样，要相对于接收者，用对应的编码器对给该用户的视频编码。不过，在处理能力和带宽两方面，用于各个用户的专用编码器可能代价极高。 
因此，需要提供用于控制视频信号的机制。 
发明内容
本公开提供了利用可伸缩视频编码来提供可选视频的系统、方法和介质。在一些实施例中，提供了用于利用可伸缩视频编码来提供可选视频的系统，所述系统包括：具有可伸缩视频编码能力的编码器，用于接收基本内容序列和具有与基本内容流不同的内容的至少一个附加内容序列，并产生至少一个SVC流，所述SVC流包括与基本内容序列对应的 基本层和与所述至少一个附加内容序列中的内容相对应的至少一个增强层；和数字处理设备，用于控制是否在SVC流的目的地处显示SVC流中的至少一个增强层。 
在一些实施例中，提供了利用可伸缩视频编码来提供可选视频的方法，所述方法包括：接收基本内容序列和具有与基本内容流不同的内容的至少一个附加内容序列；根据所述基本内容序列和所述至少一个附加内容序列编码至少一个SVC流，所述SVC流包括与基本内容序列相对应的基本层和与所述至少一个附加内容序列中的内容相对应的至少一个增强层；和控制是否在SVC流的目的地处显示SVC流中的至少一个增强层。 
在一些实施例中，提供了包含计算机可执行指令的计算机可读介质，当被处理器执行时，所述计算机可执行指令使处理器执行一种利用可伸缩视频编码来提供可选视频的方法，所述方法包括：接收基本内容序列和具有与基本内容流不同的内容的至少一个附加内容序列；根据所述基本内容序列和所述至少一个附加内容序列编码至少一个SVC流，所述SVC流包括与基本内容序列相对应的基本层和与所述至少一个附加内容序列中的内容相对应的至少一个增强层；和控制是否在SVC流的目的地处显示SVC流中的至少一个增强层。 
附图说明
图1是按照所公开主题的一些实施例的提供给具有SVC能力的编码器和从具有SVC能力的编码器接收的信号的图。 
图2是按照所公开主题的一些实施例的具有SVC能力的编码器的图。 
图3是按照所公开主题的一些实施例的视频分发系统的图。 
图4是图解说明按照所公开主题的一些实施例的基本层和增强层的结合的图。 
图5是按照所公开主题的一些实施例的视频会议系统的图。 
图6是按照所公开主题的一些实施例的不同用户终端显示的图。 
具体实施方式
提供了利用可伸缩视频编码来提供可选视频的系统、方法和介质。按照各个实施例，可向具有可伸缩视频编码(SVC)能力的编码器提供两个或两个以上的视频信号，以致编码器产生基本层和一个或一个以上的增强层。基本层可被用于提供基本视频内容，而增强层(一个或多个)可被用于用增强视频内容来修改基本视频内容。通过控制增强层(一个或多个)可用的时候(例如，通过隐藏对应的分组)，能够控制视频显示器对增强视频内容的可用性。 
可伸缩视频协议可包括允许从利用该协议编码的数据中解码视频的不同表示的任何视频压缩协议。视频的不同表示可包括不同的分辨率(空间可扩展性)、帧速率(时间可扩展性)、比特率(SNR可扩展性)、内容的各个部分，和/或任何其它适当的特性。在不同的实施例中，不同的表示可用数据的不同子集编码，或者可用数据的相同子集编码。例如，一些可伸缩视频协议可利用分层，所述分层在一层中提供视频信号的一种或多种表示(诸如，用户的高分辨率图像)，而在另一层中提供视频信号的一种或多种其它表示(诸如，用户的低分辨率图像)。作为另一个例子，一些可伸缩视频协议可分割数据流(例如，以分组的形式)，以致在数据流的不同部分中存在视频信号的不同表示。可伸缩视频协议的例子可包括由国际电信联盟(ITU)的H.264/AVC标准(附录G)的可伸缩视频编码扩展所定义的可伸缩视频编码(SVC)协议、由运动图像专家组所定义的MPEG2协议、ITU的H.263(附录O)协议和运动图像专家组的MEPG4part2FGS协议，所有这些协议均在此整体引为参考。 
参见图1，图中提供了在一些实施例中对视频编码的通用方法100的例示。如图所示，基本内容序列102可被提供给具有SVC能力的编码器106。一个或多个附加内容序列1-N 104也可被供给具有SVC能力的编码器106。响应于接收到这些内容序列，编码器随后可提供包含基本层110和一个或多个增强层112的SVC流108。 
基本内容序列102可以是包含任何适当内容的任何适当视频信号。 例如，在一些实施例中，基本内容序列可以是完全或部分具有低分辨率格式的视频内容。作为一个更特别的例子，所述低分辨率视频内容可适合于用作预告片，以诱使观众购买所述内容的分辨率更高的版本。作为另一个例子，在一些实施例中，基本内容序列可以是完全或部分失真以隐藏或阻止视频内容的完全观看的视频内容。作为另一个例子，在一些实施例中，基本内容序列可以是遗失某些观众需要的文本(诸如，闭路字幕、翻译等等)或者图形(诸如，徽标、图标、广告等等)的视频内容。 
附加内容序列(一个或多个)104可以是提供期望的全部内容序列的任何适当内容。例如，当基本内容序列102包括低分辨率内容时，附加内容序列(一个或多个)104可以是相同内容的更高分辨率序列。作为另一个例子，当基本内容序列102是遗失期望的文本或图形的视频内容时，附加内容序列(一个或多个)104可以是具有期望的文本或图形的视频内容。 
在一些实施例中，基本内容序列和附加内容序列(一个或多个)的分辨率和其它参数可以相同。在一些实施例中，在附加内容被限制于显示屏幕的小部分的情况下(例如，像在徽标或字幕的情况下)，有益的是把附加内容序列中的内容放置成使其对准宏块(MB)边界。这可提高用SVC编码器编码的一个或多个增强层的视觉质量。 
具有SVC能力的编码器106可以是提供SVC流的任何适当的具有SVC能力的编码器。例如，在一些实施例中，具有SVC能力的编码器106可实现分层方案(与粗粒度可扩展性类似)，其中定义两层(基本层和增强层)，空间分辨率因数被设为1，只对基本层应用帧内预测，利用残差编码(residual coding)对低质量序列和高质量序列之间的量化误差编码，不进行运动数据、上采样、和/或其它转码。作为另一个例子，可利用ISO/IEC运动图像专家组(MPEG)和ITU-T视频编码专家组(VCEG)的联合视频组(JVT)的可伸缩视频编码(SVC)计划的联合可伸缩视频模型(JSVM)软件来实现具有SVC能力的编码器106。在下面的附录中举例说明了配置JSVM软件的配置文件的例子。可另外或者替换地使用具有SVC能力的编码器的任何其它适当配置。 
如上所述，具有SVC能力的编码器106能够提供SVC流108，SVC流108可包括基本层110和一个或多个增强层112。当被解码时，基本层能够提供基本内容序列102中的信号。当被解码时，一个或多个增强层112能够提供在与基本层110结合时，可被用于提供期望的视频内容的任何适当内容。SVC流的解码可由任何适当的SVC解码器进行，而在一些实施例中，基本层可用任何适当的AVC解码器解码。 
尽管图1图解说明具有一个基本层110和一个或多个增强层112的单个SVC流108，不过在一些实施例中，具有SVC能力的编码器106可产生多个SVC流108。例如，当产生三个增强层112时，可以产生三个SVC流108，其中每个流包括基本层和增强层中的相应一个增强层。作为另一个例子，当产生多个SVC流时，除了基本层之外，任意一个或多个流可包括多于一个的增强层。 
参见图2，图中提供可用在一些实施例中的具有SVC能力的编码器106的更详细例示。如图所示，具有SVC能力的编码器106可接收基本内容序列102和附加内容序列104。基本内容序列102随后可由运动补偿和帧内预测机构202处理。该机构能够进行任何适当的SVC运动补偿和帧内预测处理。残差纹理信号204(由运动补偿和帧内预测机构202产生)随后可被量化，并和运动信号206一起被提供给熵编码机构208。熵编码机构208随后可执行任何适当的熵编码功能，并把所得到的信号提供给多路复用器210。 
随后层间预测技术220可把来自运动补偿和帧内预测处理202的数据和附加内容序列204一起用于驱动运动补偿和预测机构212。可以使用来自运动补偿和帧内预测机构202的任何适当数据。可以使用任何适当的SVC层间预测技术220，和机构212中的任何适当的SVC运动补偿和帧内预测处理。残差纹理信号214(由运动补偿或帧内预测机构212产生)随后可被量化，并和运动信号216一起被提供给熵编码机构218。熵编码机构218随后可执行任何适当的熵编码功能，并把所得到的信号提供给多路复用器210。多路复用器210随后可把来自熵编码机构208和218的所得到的信号结合成服从SVC的流。 
在一些实施例中，还可向编码器106提供边信息。例如，所述边信息可以识别图像中的、与基本内容序列和附加内容序列之间的差异对应的内容所在的(例如，徽标或文本可位于的)区域。所述边信息随后可在方框212内的模式判定步骤中被用于确定是否处理附加内容序列。 
图3图解说明按照一些实施例的视频分发系统300的例子。如图所示，分发控制器306可从基本视频源302接收基本内容序列作为视频，并且从附加视频源304接收附加内容序列作为视频。这些内容序列可被提供给作为分发控制器306的一部分的具有SVC能力的编码器308。具有SVC能力的编码器308随后可产生SVC流，如上所述，所述SVC流包括基本层和至少一个增强层，并把该SVC流提供给一个或多个视频显示器312、314和316。分发控制器还可包括向一个或多个视频显示器312、314和316提供控制信号的控制器310。所述控制信号可指出视频显示器将显示什么增强内容(如果有的话)。除了使用作为控制器306的一部分并且与显示器312、314和316耦接的控制器310之外或作为其替换方案，在一些实施例中，可在编码器308和显示器312、314和316之间设置独立的组件(例如，诸如网络组件，诸如，路由器、网关等等)，所述独立的组件包含确定SVC流的哪些部分(例如，哪些层)可被传给显示器312、314和316的控制器(例如，类似于控制器310)。 
控制器310，或者在网络组件、显示器、终端等中的类似机构可以使用任何适当的软件和/或硬件来控制呈现哪些增强层，和/或隐藏SVC流的哪些分组。例如，这些设备可包括数字处理设备，所述数字处理设备可包括微处理器、处理器、控制器、微控制器、可编程逻辑器件、和/或用于控制呈现哪些增强层和/或隐藏SVC流的哪些分组的任何适当的硬件和/或软件中的一个或多个。 
参见图4，图中示出了在一些实施例中如何使用这样的分发系统的例子。如图所示，基本内容序列402和三个附加内容序列404、406和408可被提供给编码器308。编码器随后可产生基本层410和增强层412、414和416。这些层随后可被组成三个SVC流：具有层410和412的一个SVC流；具有层410和414的另一个SVC流；和具有层410和416的再一个 SVC流。这三个SVC流的每一个均可被传给视频显示器312、314和316中的一个不同视频显示器，并如图所示分别在显示418、420和422中呈现。 
除了提供三个SVC流之外或作为其替换方案，可以产生单个流，并且在视频显示器312、314和316的每一个处只利用所选择的部分(例如，分组)。在一些实施例中，可以如上所述在显示器或者在编码器和显示器之间的组件进行所述部分的选择。 
图5和6图解说明按照一些实施例的视频会议系统500。如图所示，系统500包括多点会议单元(MCU)502。MCU 502可包括具有SVC能力的编码器504和视频发生器506。视频发生器506可以任何适当的方式，产生连续呈现(CP)布局，并把该布局作为基本内容序列提供给具有SVC能力的编码器504。具有SVC能力的编码器还可分别从当前讲话者终端508、先前讲话者终端510和其它参与者终端512、514和516接收当前讲话者视频、先前讲话者视频和其它参与者视频，作为附加内容序列。SVC流随后可从编码器504被提供给当前讲话者终端508、先前讲话者终端510和其它参与者终端512、514和516，并且如以下结合图6所述的那样被控制。 
如图6中所示，可以控制在当前讲话者终端508上的显示，以致用户看到来自基本层(它可包括图形602和文本604)，以及与先前讲话者和一个或多个其它参与者相对应的增强层的CP布局，如显示608中所示。可以控制先前讲话者终端510上的显示，以致用户看到来自基本层以及与当前讲话者和一个或多个其它参与者相对应的增强层的CP布局，如显示610中所示。可以控制其它参与者终端512、514和516上的显示，以致用户看到来自基本层以及与当前讲话者和先前讲话者相对应的增强层的CP布局，如显示612中所示。这样，终端的用户都看不到他或她自己的视频。 
尽管图5图解说明从具有SVC能力的编码器去向终端508、510及512、514和516的不同SVC流，不过，在一些实施例中，这些SVC流可以都相同，并且可以提供选择在每个终端上呈现哪些增强层的独立控 制信号(未示出)。另外或者可替换地，具有SVC能力的编码器或者任何其它适当的组件可以利用分组隐藏或者任何其它适当的技术，根据各流的目的地，选择只提供某些增强层作为SVC流的一部分。 
尽管在上面的例证实施例中说明和例示了本发明，不过应当理解本公开只是对本发明的举例说明，可以在本发明的实现细节方面做出众多的变化，而不脱离本发明的精神和范围，本发明的精神和范围仅由下面的权利要求限定。可按照各种方式组合和重新排列所公开实施例的特征。 
附录
下面示出了在一些实施例中可以与JSVM 9.1编码器一起使用的“encoder.cfg”配置文件的一个例子： 
#可伸缩H.264/AVC扩展配置文件 
#＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝常规＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝ 
OutputFile                            test.264                                #比特流文件 
FrameRate                              30                                    #最大帧速率[Hz] 
MaxDelay                               0                                    #最大结构延迟[ms] 
                                                                            #(互动通信所需的) 
FramesToBeEncoded                      30                                  #帧数(以输入帧速率) 
CgsSnrRefinement                      1                         #(0：作为CGS的SNR层， 
                                                                        #l：作为MGS的SNR层) 
EncodeKeyPictures                     1                               #在temp.level 0的关键图像 
                                                                #[0：只有FGS，1：FGS&MGS， 
                                                                              #2：始终(无用)] 
MGSControl                             1                          #(0：利用当前层的ME+MC， 
                                                                 #1：利用EL基准图像的ME， 
                                                              #  2：利用EL基准图像的ME+MC) 
MGSKeyPicMotRef                         1                            # MGS关键图像的运动细化 
                                                                           #(0：关，1：开) 
#＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝MC TF＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝ 
GOPSize                                         1                    #GOP大小(以最大帧速率) 
                                                                           #(无时间可扩展性) 
IntraPeriod                                    -1                         # 内周期 
NumberReferenceFrames                           1                            #基准图像的数目 
BaseLayerMode                                  1              #基本层模式(0：AVC w large DPB， 
                                                              #1：AVC兼容，2：AVC w子序列SEI) 
#＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝运动搜索＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝ 
SearchMode                                    4                     #搜索模式(0：块搜索， 
                                                                     #4：快速搜索) 
SearchFuncFullPel                              0                      #搜索函数full pel 
                                          #(0：SAD，l：SSE，2：HADAMARD，3：SAD-YUV) 
SearchFuncSubPel                                0                       #搜索函数sub pel 
                                                        #(0：SAD，l：SSE，2：HADAMARD) 
SearchRange                                    16                      #搜索范围(Full Pel) 
BiPredIter                                      2                    #bi-pred搜索的最大迭代 
IterSearchRange                                2                    #迭代的搜索范围(0：常规) 
#＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝环路滤波器＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝ 
LoopFilterDisable                               0           #环路滤波器idc(0：开， 
                                                             #1：关，2：开，除了片段边界) 
LoopFilterAlphaC0Offset                           0        #AlphaOffset(-6..+6)：有效范围 
LoopFilterBetaOffset                              0        #BetaOffset(-6..+6)：有效范围 
#＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝层定义＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝ 
NumLayers                                  2                                        #层数 
LayerCfg                                base_content.cfg                           #层配置文件 
LayerCfg                                added_content.cfg                           #层配置文件 
#LayerCfg                               ..\..\..\data\layer2.cfg                    #层配置文件 
#LayerCfg                               ..\..\..\data\layer3.cfg                    #层配置文件 
#LayerCfg                               ..\..\..\data\layer4.cfg                    #层配置文件 
#LayerCfg                                      layer5.cfg                           #层配置文件 
#LayerCfg                                      layer6.cfg                           #层配置文件 
#LayerCfg                               ..\..\..\data\layer7.cfg                    #层配置文件 
PreAndSuffixUnitEnable                              1            #增加前缀和后缀单元(0：关， 
                                                                #1：开)，在SVC上下文中应 
                                                  #始终为开(即，当存在FGS/CGS/空间增强层时) 
MMCOBaseEnable                                 1     #基本表示的MMCO(0：关，1：开) 
TLNestingFlag                                 0    #设置时间级嵌套标记(0：关，1：开) 
TLPicIdxEnable                                0   #为最低时间级添加图像索引(0：关，1：开) 
#＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝RCDO＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝ 
RCDOBlockSizes                                    1                     #限制MC的块大小 
                                                    #(0：关，1：在EL中，2：在所有层中) 
RCDOMotionCompensationY                           1                     #对于亮度的简化MC 
                                                    #(0：关，1：在EL中，2：在所有层中) 
RCDOMotionCompensationC                           1                     #对于色度的简化MC 
                                                    #(0：关，1：在EL中，2：在所有层中) 
RCDODeblocking                                    1                      #简化的解块 
                                                    #(0：关，1：在EL中，2：在所有层中) 
#＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝HRD＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝ 
EnableNalHRD                        0 
EnableVclHRD                        0 
下面示出了在一些实施例中可以与JSVM 9.1编码器一起使用的“base_content.cfg”配置文件(在“encoder.cfg”文件中被引用)的一个例子： 
#层配置文件 
#＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝输入/输出＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝ 
SourceWidth                           352                                  #输入帧宽度 
SourceHeight                         288                                    #输入帧高度 
FrameRateIn                           30                                    #输入帧速率[Hz] 
FrameRateOut                           30                                    #输出帧速率[Hz] 
InputFile                            base_content.yuv                         #输入文件 
ReconFile                             rec_layer0.yuv                           #重构的文件 
SymbolMode                               0                               #0＝CAVLC，1＝CABAC 
#＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝编码＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝ 
ClosedLoop                          1                                                 #闭环控制 
                                                      #(0，l：以H速率，2：以L+H速率) 
FRExt                               0                          #FREXT模式(0：关，1：开) 
MaxDeltaQP                          0                            #最大绝对值delta QP 
QP                                 32.0                              #量化参数 
NumFGSLayers                       0                                  #FGS层的数目 
                                                                 #(1层-～delta QP＝6) 
FGSMotion                          0                      #FGS层中的运动细化(0：关，1：开) 
#＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝控制＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝ 
MeQP0                       32.00                  #用于运动估计/模式判定的QP(阶段0) 
MeQPl                       32.00                  #用于运动估计/模式判定的QP(阶段1) 
MeQP2                       32.00                  #用于运动估计/模式判定的QP(阶段2) 
MeQP3                       32.00                  #用于运动估计/模式判定的QP(阶段3) 
MeQP4                       32.00                  #用于运动估计/模式判定的QP(阶段4) 
MeQP5                       32.00                  #用于运动估计/模式判定的QP(阶段5) 
InterLayerPred               0                      #层间预测(0：否，1：是，2：自适应) 
BaseQuality                  3                      #基本质量等级(0，1，2，3)(0：无，3，全部) 
下面示出了在一些实施例中可以与JSVM 9.1编码器一起使用的“added_content.cfg”配置文件(在“encoder.cfg”文件中被引用)的一个例子： 
#层配置文件 
#＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝输入/输出＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝ 
SourceWidth                       352                                              #输入帧宽度 
SourceHeight                     288                                                #输入帧高度 
FrameRateIn                       30                                             #输入帧速率[Hz] 
FrameRateOut                       30                                             #输出帧速率[Hz] 
InputFile                    added_content.yuv                                    #输入文件 
ReconFile                     rec_layer0.yuv                                    #重构的文件 
SymbolMode                          0                                   #0＝CAVLC，l＝CABAC 
#＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝编码＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝ 
ClosedLoop                       1                                                    #闭环控制 
                                                    #(0，l：以H速率，2：以L+H速率) 
FRExt                             0                          #FREXT模式(0：关，1：开) 
MaxDeltaQP                         0                               #最大绝对值delta QP 
QP                                 32.0                                    #量化参数 
NumFGSLayers                        0                                  #FGS层的数目 
                                                                  #(1层-～delta QP＝6) 
FGSMotion                           0                      #FGS层中的运动细化(0：关，1：开) 
#＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝控制＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝ 
MeQP0                       32.00                 #用于运动估计/模式判定的QP(阶段0) 
MeQP1                       32.00                 #用于运动估计/模式判定的QP(阶段1) 
MeQP2                       32.00                 #用于运动估计/模式判定的QP(阶段2) 
MeQP3                       32.00                 #用于运动估计/模式判定的QP(阶段3) 
MeQP4                       32.00                 #用于运动估计/模式判定的QP(阶段4) 
MeQP5                       32.00                 #用于运动估计/模式判定的QP(阶段5) 
InterLayerPred                0                   #层间预测(0：否，1：是，2：自适应) 
BaseQuality                   3                   #基本质量等级(0，1，2，3)(0：无，3，全部) 

Claims (30)

1.一种利用可伸缩视频编码来提供可选视频的系统，包括：
具有可伸缩视频编码能力的编码器，用于接收基本内容序列和具有与基本内容流不同的内容的多个附加内容序列，并产生SVC流，所述SVC流包括与基本内容序列对应的基本层和与所述多个附加内容序列中的内容相对应的多个增强层，其中所述多个附加内容序列中的第一附加内容序列对应于第一目的地，而多个附加内容序列中的第二附加内容序列对应于第二目的地；和
数字处理设备，用于使得SVC流中的多个增强层中的第一增强层被选择以在SVC流的第一目的地处显示，并使得SVC流中的多个增强层中的第二增强层被选择以在SVC流的第二目的地处显示；
其中在所述编码器的下游执行对要在每个目的地处显示的增强层的选择。
2.按照权利要求1所述的系统，还包括用于接收并解码SVC流的SVC解码器。
3.按照权利要求2所述的系统，其中SVC解码器遵守H.264/AVC标准的可伸缩视频编码扩展。
4.按照权利要求1所述的系统，其中基本内容序列是所述多个附加内容序列中的至少一个之中的视频的低分辨率版本。
5.按照权利要求1所述的系统，其中基本内容序列包含失真的视频。
6.按照权利要求1所述的系统，其中所述多个附加内容序列中的至少一个包括文本。
7.按照权利要求1所述的系统，其中所述多个附加内容序列中的至少一个包括图形。
8.按照权利要求1所述的系统，其中数字处理设备通过隐藏与所述多个增强层相关联的分组，使得SVC流中的多个增强层中的第一增强层在SVC流的第一目的地处被显示。
9.按照权利要求1所述的系统，其中数字处理设备通过向第一目的地提供控制信号，使得SVC流中的多个增强层中的第一增强层在SVC流的第一目的地处被显示。
10.按照权利要求1所述的系统，其中所述基本层和所述多个增强层中的至少一个被用于形成视频会议的连续呈现布局。
11.一种利用可伸缩视频编码来提供可选视频的方法，包括：
接收基本内容序列和具有与基本内容流不同的内容的多个附加内容序列；
根据所述基本内容序列和所述多个附加内容序列编码SVC流，所述SVC流包括与基本内容序列相对应的基本层和与所述多个附加内容序列中的内容相对应的多个增强层，其中所述多个附加内容序列中的第一附加内容序列对应于第一目的地，而多个附加内容序列中的第二附加内容序列对应于第二目的地；和
选择SVC流中的多个增强层中的第一增强层以在SVC流的第一目的地处显示并选择SVC流中的多个增强层中的第二增强层以在SVC流的第二目的地处显示；
其中在所述编码的下游执行对要在每个目的地处显示的增强层的选择。
12.按照权利要求11所述的方法，还包括接收并解码SVC流。
13.按照权利要求12所述的方法，其中所述解码遵守H.264/AVC标准的可伸缩视频编码扩展。
14.按照权利要求11所述的方法，其中基本内容序列是所述多个附加内容序列中的至少一个之中的视频的低分辨率版本。
15.按照权利要求11所述的方法，其中基本内容序列包含失真的视频。
16.按照权利要求11所述的方法，其中所述多个附加内容序列中的至少一个包括文本。
17.按照权利要求11所述的方法，其中所述多个附加内容序列中的至少一个包括图形。
18.按照权利要求11所述的方法，其中通过隐藏与所述多个增强层相关的分组，使得SVC流中的多个增强层中的第一增强层在SVC流的第一目的地处被显示。
19.按照权利要求11所述的方法，其中通过向第一目的地提供控制信号，使得SVC流中的多个增强层中的第一增强层在SVC流的第一目的地处被显示。
20.按照权利要求11所述的方法，其中所述基本层和所述多个增强层中的至少一个被用于形成视频会议的连续呈现布局。
21.一种利用可伸缩视频编码来提供可选视频的设备，包括：
用于接收基本内容序列和具有与基本内容流不同的内容的多个附加内容序列的装置；
用于根据所述基本内容序列和所述多个附加内容序列编码SVC流的装置，所述SVC流包括与基本内容序列相对应的基本层和与所述多个附加内容序列中的内容相对应的多个增强层，其中所述多个附加内容序列中的第一附加内容序列对应于第一目的地，而多个附加内容序列中的第二附加内容序列对应于第二目的地；和
用于选择SVC流中的多个增强层中的第一增强层以在SVC流的第一目的地处显示并选择SVC流中的多个增强层中的第二增强层以在SVC流的第二目的地处显示的装置；
其中在所述用于编码的装置的下游执行对要在每个目的地处显示的增强层的选择。
22.按照权利要求21所述的设备，还包括用于接收并解码SVC流的装置。
23.按照权利要求22所述的设备，其中所述解码遵守H.264/AVC标准的可伸缩视频编码扩展。
24.按照权利要求21所述的设备，其中基本内容序列是所述多个附加内容序列中的至少一个之中的视频的低分辨率版本。
25.按照权利要求21所述的设备，其中基本内容序列包含失真的视频。
26.按照权利要求21所述的设备，其中所述多个附加内容序列中的至少一个包括文本。
27.按照权利要求21所述的设备，其中所述多个附加内容序列中的至少一个包括图形。
28.按照权利要求21所述的设备，其中通过隐藏与所述多个增强层相关的分组，使得SVC流中的多个增强层中的第一增强层在SVC流的第一目的地处被显示。
29.按照权利要求21所述的设备，其中通过向第一目的地提供控制信号，使得SVC流中的多个增强层中的第一增强层在SVC流的第一目的地处被显示。
30.按照权利要求21所述的设备，其中所述基本层和所述多个增强层中的至少一个被用于形成视频会议的连续呈现布局。
CN2009801327357A 2008-07-10 2009-07-09 利用可伸缩视频编码来提供可选视频的系统和方法 Active CN102138325B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/170,674 2008-07-10
US12/170,674 US9532001B2 (en) 2008-07-10 2008-07-10 Systems, methods, and media for providing selectable video using scalable video coding
PCT/IB2009/006449 WO2010004424A2 (en) 2008-07-10 2009-07-09 Systems, methods, and media for providing selectable video using scalable video coding

Publications (2)

Publication Number Publication Date
CN102138325A CN102138325A (zh) 2011-07-27
CN102138325B true CN102138325B (zh) 2013-10-16

Family

ID=41505145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801327357A Active CN102138325B (zh) 2008-07-10 2009-07-09 利用可伸缩视频编码来提供可选视频的系统和方法

Country Status (5)

Country Link
US (1) US9532001B2 (zh)
EP (1) EP2324640B1 (zh)
JP (1) JP5519663B2 (zh)
CN (1) CN102138325B (zh)
WO (1) WO2010004424A2 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080095228A1 (en) * 2006-10-20 2008-04-24 Nokia Corporation System and method for providing picture output indications in video coding
US7961665B2 (en) 2006-12-13 2011-06-14 Viasat, Inc. Terminal aware multicasting
US8456986B2 (en) * 2006-12-13 2013-06-04 Viasat, Inc. Video and data network load balancing
US8395993B2 (en) * 2006-12-13 2013-03-12 Viasat, Inc. Video and data network load balancing with video placeholder
US8411572B2 (en) * 2006-12-13 2013-04-02 Viasat, Inc. ACM and fixed coding and modulation of hierarchical layers
US7944872B2 (en) * 2006-12-13 2011-05-17 Viasat, Inc. Adaptive coding and modulation aware network load balancing
US8358690B2 (en) * 2006-12-13 2013-01-22 Viasat, Inc. Predictive adaptive coding and modulation
US8411571B2 (en) 2006-12-13 2013-04-02 Viasat, Inc. Video and data network load balancing with video drop
US8576858B2 (en) * 2006-12-13 2013-11-05 Viasat, Inc. Multiple transmission paths for hierarchical layers
US20080144713A1 (en) * 2006-12-13 2008-06-19 Viasat, Inc. Acm aware encoding systems and methods
US20090041100A1 (en) 2006-12-13 2009-02-12 Viasat, Inc. Link aware mobile data network
US20100232521A1 (en) * 2008-07-10 2010-09-16 Pierre Hagendorf Systems, Methods, and Media for Providing Interactive Video Using Scalable Video Coding
US8233026B2 (en) 2008-12-23 2012-07-31 Apple Inc. Scalable video encoding in a multi-view camera system
US8514931B2 (en) * 2009-03-20 2013-08-20 Ecole Polytechnique Federale De Lausanne (Epfl) Method of providing scalable video coding (SVC) video content with added media content
US8988512B2 (en) * 2011-04-14 2015-03-24 Mediatek Inc. Method for adjusting playback of multimedia content according to detection result of user status and related apparatus thereof
JP6085907B2 (ja) * 2011-09-13 2017-03-01 株式会社リコー 会議システム、イベント管理サーバ、および、プログラム
US9967583B2 (en) 2012-07-10 2018-05-08 Qualcomm Incorporated Coding timing information for video coding
US9131111B2 (en) * 2012-11-02 2015-09-08 OpenExchange, Inc. Methods and apparatus for video communications
CN104125479B (zh) * 2013-04-29 2017-03-29 成都懒人享乐科技有限公司 视频截图系统及方法
JP6406801B2 (ja) * 2013-08-14 2018-10-17 キヤノン株式会社 画像形成装置及びその制御方法、並びにプログラム
US9973780B2 (en) * 2013-10-31 2018-05-15 Microsoft Technology Licensing, Llc Scaled video for pseudo-analog transmission in spatial domain
WO2015104451A1 (en) * 2014-01-07 2015-07-16 Nokia Technologies Oy Method and apparatus for video coding and decoding
GB201817784D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media
EP4020998A1 (en) 2020-12-23 2022-06-29 Axis AB Encoding of modified video

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996014711A1 (en) * 1994-11-03 1996-05-17 Picturetel Corporation Method and apparatus for visual communications in a scalable network environment
CN1366770A (zh) * 2000-03-02 2002-08-28 皇家菲利浦电子有限公司 用于改善经过无线网络进行视频传输的系统和方法
JP2005341075A (ja) * 2004-05-26 2005-12-08 Nippon Telegr & Teleph Corp <Ntt> スケーラブル通信会議システム，サーバ装置，スケーラブル通信会議方法，スケーラブル通信会議制御方法，スケーラブル通信会議制御プログラムおよびそのプログラム記録媒体

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06197225A (ja) * 1992-12-24 1994-07-15 Fujitsu Ltd 画像データ符号化方法および供給方法
JP2591439B2 (ja) * 1993-08-26 1997-03-19 日本電気株式会社 テレビ会議用動画像合成方式
JP3288898B2 (ja) * 1995-05-31 2002-06-04 株式会社東芝 ディジタルテレビジョン放送システム
JP3318712B2 (ja) * 1996-11-08 2002-08-26 ソニー株式会社 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法、画像信号伝送方法、並びに画像信号記録媒体
JP4261630B2 (ja) * 1998-02-04 2009-04-30 キヤノン株式会社 画像符号化装置及び方法、画像符号化プログラムが記録されたコンピュータ可読記録媒体
JP2000209580A (ja) * 1999-01-13 2000-07-28 Canon Inc 画像処理装置およびその方法
US7237032B2 (en) * 2001-02-16 2007-06-26 Microsoft Corporation Progressive streaming media rendering
US6496217B1 (en) * 2001-06-12 2002-12-17 Koninklijke Philips Electronics N.V. Video communication system using model-based coding and prioritzation techniques
US7391807B2 (en) * 2002-04-24 2008-06-24 Mitsubishi Electric Research Laboratories, Inc. Video transcoding of scalable multi-layer videos to single layer video
JP2004147095A (ja) * 2002-10-24 2004-05-20 Canon Inc 復号方法
JP4433286B2 (ja) * 2004-03-25 2010-03-17 ソニー株式会社 送信装置および方法、受信装置および方法、記録媒体、並びにプログラム
US20050254575A1 (en) * 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
US7778474B2 (en) * 2004-10-06 2010-08-17 Nippon Telegraph And Telephone Corporation Scalable encoding method and apparatus, scalable decoding method and apparatus, programs therefor, and storage media for storing the programs
JP4510678B2 (ja) * 2005-03-29 2010-07-28 株式会社Ｋｄｄｉ研究所 映像伝送装置および映像伝送・受信再生装置
CN101371312B (zh) * 2005-12-08 2015-12-02 维德约股份有限公司 用于视频通信系统中的差错弹性和随机接入的系统和方法
EP1985116A4 (en) * 2005-12-22 2013-06-05 Vidyo Inc SYSTEM AND METHOD FOR VIDEO CONFERENCES USING SCALABLE VIDEO CODING AND COMPOSITION OF SCALABLE VIDEO CONFERENCE SERVER
US8436889B2 (en) * 2005-12-22 2013-05-07 Vidyo, Inc. System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers
US20080101456A1 (en) 2006-01-11 2008-05-01 Nokia Corporation Method for insertion and overlay of media content upon an underlying visual media
EP2360843A3 (en) * 2006-02-16 2013-04-03 Vidyo, Inc. System and method for thinning of scalable video coding bit-streams
JP4687538B2 (ja) * 2006-04-04 2011-05-25 パナソニック株式会社 受信装置、送信装置およびその通信方法
US8422555B2 (en) * 2006-07-11 2013-04-16 Nokia Corporation Scalable video coding
US20090060035A1 (en) * 2007-08-28 2009-03-05 Freescale Semiconductor, Inc. Temporal scalability for low delay scalable video coding
JP2008048447A (ja) * 2007-09-26 2008-02-28 Dolby Lab Licensing Corp 次世代テレビジョンにおける暗号化および透かし処理を施される時間的および解像度レイヤ構造
WO2009127961A1 (en) 2008-04-16 2009-10-22 Nokia Corporation Decoding order recovery in session multiplexing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996014711A1 (en) * 1994-11-03 1996-05-17 Picturetel Corporation Method and apparatus for visual communications in a scalable network environment
CN1366770A (zh) * 2000-03-02 2002-08-28 皇家菲利浦电子有限公司 用于改善经过无线网络进行视频传输的系统和方法
JP2005341075A (ja) * 2004-05-26 2005-12-08 Nippon Telegr & Teleph Corp <Ntt> スケーラブル通信会議システム，サーバ装置，スケーラブル通信会議方法，スケーラブル通信会議制御方法，スケーラブル通信会議制御プログラムおよびそのプログラム記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开平11-088892A 1999.03.30

Also Published As

Publication number Publication date
EP2324640A4 (en) 2011-08-10
WO2010004424A2 (en) 2010-01-14
US9532001B2 (en) 2016-12-27
EP2324640B1 (en) 2017-03-22
JP5519663B2 (ja) 2014-06-11
WO2010004424A3 (en) 2010-04-22
US20100008416A1 (en) 2010-01-14
EP2324640A2 (en) 2011-05-25
CN102138325A (zh) 2011-07-27
JP2011527546A (ja) 2011-10-27

Similar Documents

Publication Publication Date Title
CN102138325B (zh) 利用可伸缩视频编码来提供可选视频的系统和方法
Wiegand et al. Overview of the H. 264/AVC video coding standard
CN101601300B (zh) 用自适应增强层预测对位深度可分级视频数据进行编码和/或解码的方法和设备
US20100232521A1 (en) Systems, Methods, and Media for Providing Interactive Video Using Scalable Video Coding
Li Overview of fine granularity scalability in MPEG-4 video standard
EP1933563A1 (en) Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer residual prediction
US20100150229A1 (en) Method of Encoding and Decoding Video Images With Spatial Scalability
Ponlatha et al. Comparison of video compression standards
WO2021236610A1 (en) Techniques for random access point indication and picture output in coded video stream
JP2022532065A (ja) 符号化ビデオストリームにおけるレイヤ間のアライメントのための方法、コンピュータシステム、及びコンピュータプログラム
Dominguez et al. The H. 264 video coding standard
WO2014007131A1 (ja) 画像復号装置、および画像符号化装置
JP4660408B2 (ja) 符号化方法
JP5211048B2 (ja) 低解像度画像のモーションデータから高解像度画像用のモーションデータを取得する方法並びにその方法を実施する符号化及び復号装置
Adikari et al. A H. 264 compliant stereoscopic video codec
Ferrara et al. The next frontier for MPEG-5 LCEVC: from HDR and immersive video to the metaverse
JP2022530092A (ja) マルチレイヤ化映像ストリームにおけるサブレイヤ番号の指示のための方法、装置、及びコンピュータプログラム
JP2022525629A (ja) 符号化映像ストリームを復号する方法、装置、及びコンピュータプログラム
Heindel et al. Enhancement Layer Coding for Chroma Sub-Sampled Screen Content Video
Favalli et al. ILPS: a scalable multiple description coding scheme for H. 264
Khairy et al. Efficient enhancement for spatial scalable video coding transmission
AU2021257907B2 (en) Techniques for random access point indication and picture output in coded video stream
Uchihara et al. H. 264/AVC encoding control for fast stream joiner in interactive multivision video
WO2014050554A1 (ja) 画像復号装置、および画像符号化装置
EP4406225A1 (en) Low complexity enhancement video coding with temporal scalability

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: AVAYA TECH LLC

Free format text: FORMER OWNER: RADVISION LTD.

Effective date: 20140219

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20140219

Address after: new jersey

Patentee after: Avaya Tech LLC

Address before: Tel Aviv Israel France

Patentee before: Radvision Ltd.