CN1435055A - 使用空间可调性及同时传送编码的多投射环境的视讯压缩 - Google Patents
使用空间可调性及同时传送编码的多投射环境的视讯压缩 Download PDFInfo
- Publication number
- CN1435055A CN1435055A CN00819043A CN00819043A CN1435055A CN 1435055 A CN1435055 A CN 1435055A CN 00819043 A CN00819043 A CN 00819043A CN 00819043 A CN00819043 A CN 00819043A CN 1435055 A CN1435055 A CN 1435055A
- Authority
- CN
- China
- Prior art keywords
- video signal
- data
- coding
- signal data
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007906 compression Methods 0.000 title description 6
- 230000006835 compression Effects 0.000 title description 6
- 230000003044 adaptive effect Effects 0.000 claims abstract description 10
- 238000004891 communication Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 59
- 230000005540 biological transmission Effects 0.000 claims description 24
- 238000012546 transfer Methods 0.000 claims description 10
- 238000004088 simulation Methods 0.000 claims description 7
- 238000012421 spiking Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 2
- 238000013213 extrapolation Methods 0.000 claims 1
- 239000010410 layer Substances 0.000 description 107
- 230000006870 function Effects 0.000 description 17
- 238000010606 normalization Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 238000005070 sampling Methods 0.000 description 8
- 238000013139 quantization Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 239000002356 single layer Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000012530 fluid Substances 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 239000002245 particle Substances 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011229 interlayer Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010021403 Illusion Diseases 0.000 description 1
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000010419 fine particle Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 201000007094 prostatitis Diseases 0.000 description 1
- 238000004153 renaturation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/64—Addressing
- H04N21/6405—Multicasting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/4508—Management of client data or end-user data
- H04N21/4516—Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/454—Content or additional data filtering, e.g. blocking advertisements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明揭示一种决定应使用同时传送编码(400)或空间可调性编码(100)将特定通讯链接的客户视讯编码的最佳系统。亦决定同时传送编码及空间可调性的作用点(A′,B′,C′)。自适切换(3130,3140)加上该作用点及决定边界使该切换根据配置于该相关较低分辨率数据的位将该较高分辨率数据最佳化。亦揭示一种系统决定在同时传送及空间可调性编码的二层等品质的点(A′,C′)。为达等品质而配置于该基层的位比例,本质上和同时传送及空间可调性的总比特率无关。
Description
发明背景
本申请要求1999年12月22日申请的美国专利申请No.60/171,774的优先权。
本发明和数字电视及类似者,更特别是和多投射应用的视讯编码架构有关。本发明特别适用于提供经由如网际网络通讯协议(IP)网络的计算机网络多投射视讯的冲流视讯服务器。一多投射传输可使用同时传送(″Sim″)或空间可调性(″SS″)编码。
多投射视讯服务通常需考量三个主要因素:
(1)到达收看者的费用(以视讯编码而言);
(2)服务品质(如视觉品质);以及
(3)编码复杂性对译码复杂性。
一些多投射系统选择只使用同时传送编码(比特流独立编码以达到视讯可调性)。该同时传送方式没有额外编码器或译码器复杂性,故符合前列的第三要素。
在一些应用环境编译码器复杂性可能并不重要,而该前二要素是主要问题。对这些服务所用视讯压缩(编码)架构的选择遵守对二或多个服务率配置之一既定总组合,对用户想要有可选择最高尖峰信号噪声比(PSNR)的编码架构的规则。另外对既定的品质需求(如各比特流的PSNR),想要有可达最小总位配置的编码架构。
直觉上可调比特流(和编码比特流有关)表现应较同时传送编码佳。此推论建议无复性限制的一多投射实施应只使用空间可调性。但本发明人发现同时传送编码在特定作用区域表现较空间可调性佳。此惊人的发现使得必需决定对既定应用要使用的方法,并在二编码方法中提供一自适性切换技术。
最好提供一在多投射视讯服务的空间可调性及同时传送编码间选择的最佳方法。此一方法应能决定对一特定通讯链接用户的视讯编码应使用同时传送编码或是空间可调性。若除对特定状况进行决定外,该方法可用来对一般的情形架构决定区域或在该二方法间自适性切换是更好的。对用户间位配置的同时传送编码及空间可调性作用点应亦利用此方法决定。
本发明提供的系统有前述及其它优点。
发明内容
本发明提供一在空间可调性及同时传送编码间选择以提供有效压缩架构的最佳技术。特别是同时传送编码在配置于该基层位比例小时性能可优于空间可调性。
亦提供一技术决定应使用同时传送编码或空间可调性对特定通讯键结的用户视讯编码。亦决定同时传送编码及空间可调性的作用点。利用该作用区导控该切换,亦提供该二方式间的自适性切换。
本发明亦提供一方法用以决定同时传送编码二层的等品质点。达到等品质的配置于该基层位比例和同时传送及空间可调性的总比特率无关。提出对应方法及装置。
附图说明
图1是具二层的一般可调编码器/译码器(CODEC)方块图;
图2说明具二层的时间可调性;
图3说明具二层的空间可调性;
图4是提供二比特流同时传送编码的系统方块图;
图5是该QCIF车上电话视讯串行单一层编码的PSNR对比特率图;
图6是该CIF车上电话视讯串行单层编码的PSNR对比特率图;
图7是对总比特率0.29、0.32及0.35 Mbps的车上电话视讯串行QCIF/CIF同时传送、PSNR对总位配置于该较低分辨率流比例图;
图8说明求得该QCIF/CIF车上电话视讯串行同时传送编码二层等品质点所需叠接的范例;
图9是一QCIF/CIF同时传送的PSNR对总比特率图,其中对既定总比特率的较低分辨率流及较高分辨率流PSNR相等;
图10是一QCIF/CIF同时传送的总位于该较低分辨率流比例对总比特率图,其中对既定总比特率的较低分辨率流及较高分辨率流PSNR相同;
图11是该车上电话视讯串行QCIF/CIF空间可调性编码的PSNR对总比特率图;
图12是总比特率0.29、0.32及0.35Mbps的车上电话视讯串行QCIF/CIF空间可调编码的PSNR对总位于该基层比例图;
图13是QCIF/CIF空间可调性的PSNR对总比特率图,其中对既定比特率,既定视讯串行的基层及提升层PSNR相同;
图14是QCIF/CIF空间可调性的总位于该基层比例对总比特率图,其中对既定比特率,一既定视讯串行的基层及提升层PSNR相同;
图15为PSNR对QCIF/CIF同时传送的总比特率及车上电话视讯串行的空间可调编码的图,其中QCIF及CIF视讯串行对一给定的总比特率具有相同的PSNR;
图16是信息视讯串行的QCIF/CIF同时传送及空间可调性编码的PSNR对总比特率图,其中既定总比特率的QCIF及CIF视讯串行PSNR相同;
图17是该领班视讯串行的QCIF/CIF同时传送及空间可调性编码的PSNR对总比特率图,其中既定总比特率的QCIF及CIF视讯串行PSNR相同;
图18是篮式视讯串行的QCIF/CIF同时传送及空间可调性编码的PSNR对总比特率图,其中既定总比特率的QCIF及CIF视讯串行PSNR相同;
图19是静音视讯串行的QCIF/CIF同时传送及空间可调性编码的PSNR对总比特率图,其中既定总比特率的QCIF及CIF视讯串行PSNR相同;
图20是总线视讯串行的QCIF/CIF同时传送及空间可调性编码的PSNR对总比特率图,其中既定总比特率的QCIF及CIF视讯串行PSNR相同;
图21是0.29Mbps总频宽的车上电话视讯串行的PSNR对总位于该基层(对SS)或该较低分辨率流(对Sim)的比例图,其亦说明在基层及提升层(对SS)间及该较低及较高分辨率流(对Sim)间的折衷;
图22是0.32Mbps总频宽的车上电话视讯串行的PSNR对总位于该基层(对SS)或该较低分辨率流(对Sim)的比例图;
图23是0.35Mbps总频宽的车上电话视讯串行的PSNR对总位于该基层(对SS)或该较低分辨率流(对Sim)的比例图;
图24是0.29Mbps固定比特率的基层(对SS)或较低分辨率流(对Sim)的车上电话视讯串行的PSNR对该提升层(对SS)或较高分辨率流(对Sim)的图;
图25是0.05Mbps固定比特率的基层(对SS)或较低分辨率流(对Sim)的车上电话视讯串行的PSNR对该提升层(对SS)或较高分辨率流(对Sim)的图;
图26是同时传送及空间可调性决定边界的提升层(对SS)或较高分辨率流(对Sim)比特率对该基层(对SS)或较低分辨率流(对Sim)比特率的图;
图27是同时传送及空间可调性决定边界的提升层(对SS)或较高分辨率流(对Sim)归一化比特率对该基层(对SS)或较低分辨率流(对Sim)归一化比特率的图;
图28的方块图说明使用同时传送编码的多投射传送范例;
图29的方块图说明使用空间可调性编码的多投射传送范例;
图30是同时传送及空间可调性决定区域的提升层(对SS)或较高分辨率流(对Sim)比特率对基层(对SS)或较低分辨率流(对Sim)的图;
图31说明依照本发明一自适性同时传送/空间可调性编码装置。
具体实施方式
本发明提供在如多投射视讯的多投射服务的同时传送编码及空间可调性间选择的技术。
先提供一般可调编码(空间可调性和时间可调性)的简介。以一MPEG-4编译码器进行仿真以了解以多重空间分辨率传送相同视讯串行的相关问题。除在同时传送编码及空间可调性间做决定外,一问题是适当配置不同层的位。
提供一般的原则并详细检讨在二层达到等品质的情形。由四分的一共同中间形式(QCIF)及共同中间形式(CIF)分辨率串行得到的结果可直接用于如一多投射环境的视讯传送。
当使用QCIF做为较低分辨率数据范例及CIF做为较高分辨率数据范例时,这些只是举例,而可使用其它合适的数据形式。
CIF是用来使计算机化的视讯影像可在计算机间共享。一以CIF数字化的影像分辨率为352×288或352×240,本质上是CCIR 601分辨率的一半。国际无线电咨询委员会建议以CCIR 601将彩色视讯信号数字化,这涉及RGB至YCrCb的色隙转换,用于限制频宽的数字滤波器、取样率(定义为13.5MHz)及该水平分辨率(720作用像素)。
许多应用想能以各种分辨率及/或品质送收视讯。一种方法是利用可调或分层编码,这是将视讯编码为一独立基层及多个相关的提升层的处理。这使得一些译码器将该基层译码以接收基本视讯,而其它译码器将该基层及提升层译码以得到较高的时间分辨率、空间分辨率及/或视讯品质。
可调性的一般概念以具二层的一编译码器于图1说明。要知道可使用额外的层。该可调编码器100有二个输入串行并产生二个比特流在一mux 140多任务。详细说,在基层编码器110处理该输入基本视讯流或层,并在中间处理器120上取样,以在提升层编码器130提供该输入提升视讯流或层预测编码的一参考影像。
注意该基层的编码及译码作用完全和不可调、单一层状况相同。除了该输入提升视讯,该提升层编码器使用该中间处理器提供的基层信息有效对该提升层编码。在经可为如像网际网络的计算机网络或像有线电视网络的宽频通讯频道的一频道通讯后,该总比特流在demux150解多任务,而该可调译码器160仅利用一基层译码器170、一中间处理器180及一提升层译码器190反转该可调编码器100的作用。
该MPEG-2标准定义空间、时间及品质(SNR)可调性的可调式工具。MPEG-2着重的主要商业应用是数字视讯碟及数字电视,通常不使用可调性其它功能的应用。故过去MPEG-2可调编码的商业用途受限。但如冲流视讯的新应用可因可调性大为受益。可调式编码用途的一范例是在多投射环境的视讯传送。用户有大范围的处理能力、内存资源及可用频宽。这需要提供不同视讯品质及/或分辨率以满足客户不同能力的服务器。最近完成的多媒体标准MPEG-4版次1提供二种可调性:时间及空间。除于视讯帧(画面)引用可调性外,该标准亦定义任意形状物体的可调性。
本发明观念一般适用于任意形状物体,但本文着重于以帧为基础的可调性。除了时间及空间可调性,目前正评估将品质可调性的第三种可调性编码,所谓细颗粒可调性(FGS)包含于MPEG-4。在讨论同时传送编码前提出MPEG-4的时间及空间可调性简述。
时间可调性除该基层外利用一或多个提升层使该时间分辨率增加。
图2显示一二层的时间可调编码范例。利用只将该独立基层200译码得到基本视讯,这和该不可调单一层状况方式相同。利用该相关提升层250提供具如该基本视讯时间分辨率七倍的视讯。不论是否使用该提升层250均得相同的空间分辨率。该提升层250的一帧可由该基层显示顺序中前一或下一帧以及相同层中最近译码的帧使用动作补偿预测。
空间可调性除该基层外利用提升层使该空间分辨率增加。图3显示一二层的空间可调编码范例。利用只将该独立基层300译码得到视讯,这和该不同调单一层状况方式相同。利用该相关提升层350提供具如该基本视讯空间分辨率二倍的视讯。不论是否使用该提升层均得相同的时间分辨率。该提升层的一帧可由该基层的暂时重合帧以及相同层中最近译码的帧使用动作补偿预测。
另一以多分辨率或品质传送视讯的方法是同时传送编码。图4显示具二比特流的同时传送编码范例。对同时传送编码该等流是独立的,但可调编码通常视的为一独立基层和一或多个相依编码的提升层。和可调编码相较,一同时传送流(称为一较低分辨率流)分辨率和该基层相同,而其它同时传送比特流(称为较高分辨率流)分辨率和该提升层相同。
第一及第二输入比特流分别在对应视讯编码器420及410编码。该输入视讯#1假设为一较低分辨率流,同时该输入视讯#2假设为一较高分辨率流。这和各表示的独立编码有关及通常没可调编码有效,因未利用另一比特流的类似信息。该比特流则在一mux 430多任务,于一些频道传送,在demux 440解多任务及在一同时传送译码器450分别由视讯译码器470及460独立译码。其和可调编码不同,将该较高分辨率视讯译码无需额外的译码器复杂性。这在商业应用可能很重要,因额外的译码器复杂性常增加接收器成本。
本发明着重于空间可调性及其相对的同时传送性能。已以一MPEG-4编码器或矩形视讯进行仿真以了解以各种空间分辨率传送视讯的问题。分层编码的一问题是在层间适当配置位。除检查同时传送编码及空间可调性间的差异外,和本发明有关的研究着重于决定位配置的规则。
讨论六种不同视讯串行,即篮式、总线、车上电话、领班、音信及静音式。此组串行复杂性范围很大,故其结果一般应适用于其它串行。该篮式及总线串行有大量动作及可对大部份编码器有压力。该音信及静音串行有很多静态背景故容易有效压缩。该原始串行为CIF形式(288×352像素)及QCIF形式(144×176像素)。该串行由下取样产生(未使用任何抗混淆滤波器即杀掉)。各串行是150帧长及该来源及显示帧率为每秒30帧。使用一MPEG-4编码器将该同时传送及空间可调流以各种量化程度编码而未控制速率。表1显示该仿真所用的参数。″VOP″视为该MPEG-4标准的一视讯对象平面。
同时传送流较低层 | 同时传送流较高层 | 可调流的基层 | 可调流的提升层 | |
QrQPQB架构MN范围 | {4,6,8,...,24}min(1.4 Qr,32)min(1.8 Qr,32)IPPBPPB...3128 | {4,6,8,...,24}min(1.4 Qr,32)min(1.8 Qr,32)IPPBPPB...3126 | {4,6,8,...,24}min(1.4 Qr,32)min(1.8 Qr,32)IPPBPPB...3128 | {6,8,10,...,24}min(1.4 Qr,32)min(1.8 Qr,32)PBBPBBPBB...12---16 |
QrQPQB架构MN范围 | I-VOP的量化装置P-VOP的量化装置B-VOP的量化装置画面架构连续P-VOP间的周期连续B-VOP间的周期动作向量寻找范围 |
表1:仿真参数
在此的品质量测为该PSNR,其定义为在相同分辨率该译码视讯和该输入视讯相较的亮度(Y)部份尖峰信号噪声比。在此使用的品质量测虽为PSNR,亦可使用其它量测包含如MSE(均方误差)及一感觉失真量测。在此所用PSNR定义为20*log10(MSE)(dB)。
单层编码
图5及6显示该QCIF及CIF车上电话串行编码的单层编码。该图标″150-30fps″表示每秒30帧的一150帧串行。注意150帧是任意选择的长度,而可使用许多合适的串行长度。空间可调性及同时传送编码观念上可在每个画面发生。但这可导语律问题。在画面组(GOPs)间切换实际是可能的。
另外在此及其它图式,该比特率是一串行的平均比特率。该圆圈表示实验结果,而该虚线500、600分别表示利用以下模型的数据对数:
PSNR=Aln(比特率)+B
该模型使各单层由二参数(常数)A及B表示(于此模型有效的比特率范围)。″ln″表示该自然对数。″比特率″是该图的″x″参数。
同时传送编码
当传送多串行面临的标准情形是该总频宽的一制约。
图7是总频宽0.29、0.32及0.35Mbps的QCIF/CIF同时传送的PSNR对总位于该较低分辨率流比例的图。该图显示利用分别限制总频宽为0.29、0.32及0.35Mbps的车上电话QCIF及CIF串行的同时传送(″Sim″)可达成的不同品质范例。二者的品质以总位于该较低分辨率流(即该QCIF流)比例的函数画出。该实线700、710、720分别代表0.29、0.32及0.35总比特率的较低分辨率(QCIF)串行的PSNR。该虚线750、760、770分别表示0.29、0.32及0.35总比特率的较高分辨率(CIF)串行的PSNR。
注意二层数据的单调性,即该PSNR为稳定增加或减少(无尖峰或凹处)。
该等图式虽以于该基层或提升层(对SS),或于该较低分辨率流或较高分辨率流(对Sim)的位比例表示,但这些值亦可以位绝对数、百分比、一固定参考值的比例或百分比,或任何其它线性或非线性测量或标度。
同时传送编码中单一流的独立性使该QCIF流配置位增加,而其它(CIF)流减少,则品质改善。这很合理,因提供一流的额外位是由其它流中取出以维持相同总频宽。
该图式中交叉的曲线表示该函数交会点,即二个流PSNR相等的点。此点可利用各流数据的对数及二分法求出,因各流的PSNR是一较低分辨率流比特率的单调性函数。
特别是二层PSNR的单调性表示若该二函数交叉将只会在一点交叉。在一些情形可能因总频宽不足或超过而不会有交叉点。可另使用出射状况检查比特率差以决定是否不相交。为求简化,以下算法将的省略。因此以下算法假设已选择使该函数交叉的一适当总比特率。可使用利用该层间PSNR的一二分法求出等品质的点。一范例算法如下:
1.假设固定总比特率RTOT及一收敛临界T>0。
2.令R1及R2为该较低层单一层码的最小及最大比特率。
3.令R3=(R1+R2)/2。
4.利用各层的对数值算出R3的PSNRlower及PSNRupper。
PSNRlower=Alower Ln(R3)+Blower
PSNRupper=Aupper Ln(RTOT-R3)+Bupper
其中Alower及Blower为该较低(较低分辨率)层的参数,而Aupper及Bupper为该较上(较高分辨率)层的参数。
5.使DIFF=PSNRlower-PSNRupper。
6.若DIFF的绝对值小于T,
结束演算,而R3为同时传送编码的二层达同品质的较低层比特率。否则,
设定R1=R3若DIFF<0。
设定R2=R3若DIFF>0。
回到步骤3。
此算法只是如何找出交会点的一范例。亦可用如线性内插的其它技术。
图8是求得0.32Mbps车上电话串行的QCIF/CIF同时传送编码二流等品质点800所需叠算的范例。R1(i)及R2(i)分别代表该较低分辨率流在该算法叠算i的比特率R1及R2。注意图8显示该较低分辨率流绝对比特率。而图7显示该总位于该较低分辨率流的比例。应很容易知道在此及它处如何于此二种量标间转换。
图7的PSNRs交会点可视为二流约以等品质编码的位配置,因PSNR是相对画面大小归一化。注意此点在一些总频宽可能不会发生,因各流编的动态范围受限。
在如以在此使用的分辨率经网际网络冲流视讯的应用将希望能以大略相同的品质传送不同分辨率的二流。但其它应用的需求可能不同。例如考量相同同时传送系统的二不同议题。一个应用可能希望该较低分辨率流的品质较高以使大量的接收器接收该较低分辨率。另一应用可能希望该较高分辨率流的品质较高,以使该接收器接收较高的分辨率,因接收整个同时传送流所需的频宽成本较高。以下章节的分析着重于二个流达到同品质,但这可能并非一些应用的目的,而此问题在下文重新提及。
图7另外说明位配置于该较低分辨率流以在该二流达等品质的比例本质上和总比特率无关。这是很有用的结果而其重要性可由以下范例看出。假设一多任务器和同时传送比特流组合,并已在流间决定适当的位配置。该先前的结果建议该多任务器在对总频宽的变化反应时不必重新决定适当的位配置。反而是配置于各流的位比例应维持相同。
图9及10显示对多种约束总频宽的不同串行执行上述分析的结果。图9显示该PSNR对测试串行篮式900、总线910、车上电话920、领班930、信息940及静音950的比特率。
该较低分辨率(QCIF)及较高分辨率(CIF)的品质各串行只以一曲线显示,因本图的数据由要求二流的PSNR相同而得,而所示的比特率是总比特率。例如对篮式串行900在总比特率为1Mbps时,二流的PSNR约为24dB。当总比特率缓缓增加,二流的PSNR增加,在总比特率为4.5Mbps时约达32dB。
图10显示总位于该较低分辨率流的比例对该测试串行篮式1000、总线1010、车上电话1020、领班1030、信息1040及静音1050的总比特率。此数据显示约40±4%的总频宽应配置于该较低分辨率流,以在同时传送编码的二流达同品质。此结果可做为同时传送比特流位配置的一般原则。
空间可调编码
图11显示该车上电话QCIF及CIF串行的空间可调(″SS″)编码结果。各数据点的横坐标(于该水平轴)为二流的总比特率,而纵坐标(于该垂直轴)代表使用空间可调性的提升层(该较高CIF分辨率)PSNR。各组曲线使用相同的较低分辨率QCIF基层(因此基层比特率及PSNR),及不同的提升层比特率。该圆圈表示实验结果,而该虚线是使用相同基层的各组曲线对数值。表2列出各组曲线的对数(Y=A ln(X)+B)参数(A及B)及该QCIF基层PSNR及比特率(单位为Mbps)。
基本比特率(Mbps) | 基本PSNR | A | B |
0.2860.1710.1080.08350.07140.06250.05610.05180.04920.04720.0456 | 36.4634.1132.7331.6931.0430.4629.9229.4829.0928.7628.44 | 9.406.895.705.365.325.365.405.475.555.625.66 | 41.3440.9040.4540.2640.2640.3440.4140.4940.5340.6140.62 |
表2:QCIF/CIF(车上电话)空间可调编码基(QCIF)层特性
在图11该0.286、0.171及0.108基层比特率分别示于曲线1100、1110及1120。剩余0.0835至0.0456比特率示于该集合曲线1130。
检查该总频宽的一制约的车上电话QCIF及CIF串行的空间可调编码。图12是总频宽0.29、0.32及0.35Mbps QCIF/CIF空间可调性的PSNR对于该基层的总位比例的图。该图显示可由限制该总频宽为0.29、0.32及0.35Mbps达成不同品质的范例。该实线代表该基层(QCIF)串行的PSNR及虚线代表该提升层(CIF)串行的PSNR。该实线1200、1210、1220分别代表0.29、0.32及0.35Mbps的QCIF串行PSNR。该虚线1250、1260、1270分别表示0.29、0.32及0.35Mbps的CIF串行PSNR。
注意该CIF串行PSNR并非于该基层位比例的一单调函数。即该PSNR于该CIF近20%处有一尖峰。
该QCIF串行的PSNR如预期是所配置总位比例的一单调增加函数。另外在该基层配置该总比特流不到约20%时,在二层均呈性能下降。此下降在该CIF层不严重,但对于QCIF层就相当明显。在其它测试串行亦有倾向。此结果和二层独立的同时传送方法不同,这是因该上取样QCIF基层的CIF提升层相依性所致。此基层20%配置结果可为空间可调编码基层位配置的一有效最小边界。
图12另外显示在该二层达等品质的于该基层位比例本质上和该总比特率无关。此结果和分析该同时传送实验所得结论类似,且在配置空间可调比特流时很有用。
图13及14显示对多种约束总频宽的不同串行执行上述分析的结果,其中该基层及提升层对既定总比特率的PSNR相同。图13显示该PSNR对该测试串行篮式1300、总线1310、车上电话1320、领班1330、信息1340及静音1350的总比特率。图14显示总位于该基层比例对该测试串行篮式1400、总线1410、车上电话1420、领班1430、信息1440及静音1450的总比特率。图14的数据显示约总频宽的45±5%应于该基层,以在空间可调编码比特流的二层达同品质。此百分比可做为空间可调比特流位配置的一般准则。
图15至20显示各测试串行的同时传送及空间可调性结果,其中该QCIF及CIF视讯串行对既定的总比特率PSNR相同。
图15显示车上电话串行空间可调性1500及同时传送1510的PSNR,图16显示信息串行空间可调性1600及同时传送1610的PSNR,图17显示领班串行空间可调性1700及同时传送1710的PSNR,图18显示篮式串行空间可调性1800及同时传送1810的PSNR,图19显示静音串行空间可调性1900及同时传送1910的PSNR,及图20显示总线串行空间可调性2000及同时传送2010的PSNR。
同时传送编码及空间可调性的作用区常不同,在总比特率很低时只能选择空间可调性,而在总比特率很高时则是同时传送编码。详细说,总比特率很低时若使用粗量化装置进行剩余编码,可使用空间可调性。这时可能无法使用同时传送编码,因频宽可低到即使以最粗量化装置亦无法以较高分辨率将串行编码。注意同时传送状况必需将更多信息编码,因该基层无信息可用。即在剩余信号(该未编码提升层及该译码基层-未取样部份的差)的信号能量远少于原始信号。该空间可调性提升层可视为剩余的编码,而同时传送编码第二较高分辨率流将该原始高分辨率信号编码。因空间可调性提升层及同时传送编码第二层使用的量化装置范围相同,故该二方法的编码比特率范围不同是正常的。
除了篮式串行的一些区域,于同时传送编码及空间可调性均可行的比特率使用空间可调性可改进品质。表3列出在同时传送及空间可调编码均可行时利用空间可调性的各串行PSNR改进范围。该篮式串行最小PSNR改进的负值表示同时传送编码对共同作用区域达较高品质视讯的部份。
要知道在一般商业应用,同时传送编码及空间可调性间的决定不是只看其它品质量测或PSNR之差。该较低层比特率在同时传送编码较低,这有利于同时传送编码因只接收该基层所需的频宽较小。将空间可调性比特流译码亦需要额外的译码器复杂性。
序列 | 使用空间可调性的最大PSNR | 使用空间可调性的最小PSNR |
CarphoneNewsForemanBasketSilentvoiceBus | 0.741.060.750.711.270.65 | 0.410.790.68-0.251.180.11 |
表3:同时传送编码及空间可调编码均可行时使用空间可调性的PSNR改进范围
先前分析着重于二层达等PSNR。如稍早的讨论,这并非一些应用的目的。此作用点的不同看法显示同时传送编码及空间可调性间基本差异的另外观点。
图21至23分别显示0.29、0.32及0.35Mbps固定总频宽的QCIF及CIF车上电话串行的同时传送及可调编码结果。该结果以于该基层(对SS)或较低分辨率流(对Sim)位比例的函数出。
图21显示0.29Mbps的同时传送CIF 2100、空间可调性CIF 2110及QCIF 2120(对同时传送或空间可调性均相同)的PSNR。图22显示0.32Mbps的同时传送CIF 2200、空间可调性CIF 2210及QCIF 2220。图23显示0.35Mbps的同时传送CIF 2300、空间可调性CIF 2310及QCIF2320。
要知道若配置于该基层的总比特率百分比很小,该同时传送(″Sim″)性能优于空间可调性(″SS″)。一般的倾向是在较多位配置于该基层时空间可调性的优势增加。
图21的范例提供明显的标记帮助以下讨论。点A′是使用同时传送编码的二流等PSNR作用点。点B′是使用和点A′配置于该基层相同的位量的空间可调性对应点。点C′是使用空间可调性的二层等PSNR作用点。注意利用在二流或层(分别是点A′或C′)达等品质的作用点使不同的位量分别视使用同时传送(点A′)或是空间可调性(点C′)配置于该较低分辨率流或基层。
将同时传送编码及空间可调性以相同位量配置于该较低分辨率流及基层比较(分别为点A′及B′)显示该空间可调性在较高CIF分辨率的PSNR较高。注意同时传送编码及空间可调性在较低QCIF分辨率的PSNR相同。另外这和利用于二层等品质的作用点(点C′)所得的QCIF及CIF分辨率增益不同。一种解释此观念的方式是利用空间可调编码,该提升层部份PSNR增益可由自该提升层搬移位至该基层换取增加该基层。事实上可亦由该基层移动更多位至该提升层。此观念可由同时沿图21的QCIF及CIF曲线移动而清楚。这使不同分布,如点B′及C′(对SS)间或点A′及C′(对Sim)间的点变得可行。
通常比特流配置问题和二比特率(对SS的基本及提升比特流,及对Sim的较低分辨率及较高分辨率比特流),以及同时传送编码及空间可调性间的选择有关。注意,可使用不只二流或层,在此情形该位配置问题因而扩大。
一种得到此三维数据的方法(假设二流为层)是固定该基层(或较低分辨率流)比率,并对提升层或较高分辨率流的不同比特率在同时传送编码及空间可调性间选择。由结合不同基层(较低分辨率流)率的数据可架构完整的三维数据。
图24及25是该车上电话QCIF及CIF串行传送的基层(或较低分辨率流)比特率(因此PSNR)固定的范例。图24分别显示0.29Mbps的同时传送2400及空间可调性2410较高分辨率流或提升层的PSNR,而图25显示0.05Mbps的同时传送2500及空间可调性2510的对应PSNR。注意空间可调性曲线的动态范围较小。
在图24,固定该QCIF数据得到一36.45的PSNR。总比特率则为0.29Mbps+该提升层或较高分辨率流层比特率。若未使用提升层数据即只上取样该基层(使用双线性内插)产生该提升层,得到该数据点(0Mbps,30dB)。在图25,QCIF比特率固定,得到28.36的PSNR。该总比特率则为0.05Mbps+该提升层或较高分辨率流比特率。若未使用提升层数据即只上取样该基层(使用双线性内插)产生该提升层,得到数据点(0Mbps,27dB)。一般倾向是空间可调性在较低提升层/较高分辨率流比特率较有效,而同时传送编码在较高提升层/较高分辨率流比特率较有效。同时传送编码及空间可调性相等边界的决定是一重要结果。此边界则可用来决定应使用同时传送编码或空间可调性。
该同时传送编码及空间可调性的函数可能不会交叉,利用将二曲线对数化及找出该对数化的交叉可外插该曲线找出一交插点。假设该二对数函数为:
Y1=Aln(X)+B
Y2=Cln(X)+D
Y1是一曲线的PSNR,如符合常数A及B曲线的同时传送编码曲线。Y2是其它曲线的PSNR,如符合常数C及D曲线的空间可调性曲线。求出该二对数函数间的交叉点符合:
Y1=Y2
Aln(X)+B=Cln(X)+D
(A-C)ln(X)=D-B
ln(X)=(D-B)/(A-C)
图式中的叉号(图24的点2420、图25的点2520)代表交叉的估计点。
图26显示所有测试串行使用此估计同时传送编码及空间可调性间边界技术的结果。此图显示该测试串行篮式2600、总线2610、车上电话2620、领班2630、信息2640及静音2650。对各视讯串行,该数据显示该曲线以上的作用点应使用同时传送编码,而该曲线以下的点应使用空间可调性,以得到该CIF视讯串行的最高PSNR(如该提升层或较高分辨率流)。要知道因此分辨率为单一层编码,指定该基本比特率将独一性决定该QCIF串行的PSNR。此决定边界倾向于对不同大小有相同的形状。
图27说明利用该数据范围及以下公式将该基层及提升层比特率(对SS)归一化及将该较低分辨率流及较高分辨率流比特率(对Sim)归一化,该决定边界的相似性:
归一化比特率=(比特率-最小值)/(最大值-最小值)
此公式将该最小绝对比特率和0归一化比特率及该最大绝对比特率和1归一化比特率映像。
图27显示该测试串行篮式2700、总线2710、车上电话2720、领班2730、信息2740及静音2750的归一化决定边界。
以上结果使得能完全根据提供较高品质的模式在同时传送及空间可调性间选择。考量其它问题如空间可调性需要的额外接收器复杂性,可能不只需决定较佳的模式还有可得的改进,特别是在因素是支持另一模式时。这需检查三维数据。要知道不理该PSNR差决定较佳模式就如同将该三维数据投射至一二维空间。对一般情形很难使决定准则清楚及建立而最好以个案方式处理。
多投射环境
本发明可适用于多投射环境的视讯广播,如一视讯服务器经由如网际网络的计算机网络提供视讯(如电影)至使用者。使用者可由如个人计算机、网际网络信息接收器或类似者的装置接收数据。在此环境,许多用户因其处理能力、内存资源及可用频宽不同而需不同的服务类型。该服务器想提供相同视讯串行不同的分辨率及/或品质以满足各种用户。要知道服务器应连续提供所有服务率内容,否则整个用户类型不会接收服务。
此情形和该单投射环境不同,其以点对点传送提供不同服程度处理动态变化。在此情形该服务器可在比特流间自适性切换以提供和可用来源相称的服务。因此在任何情形只传送一比特流及可依该目标比特率制作。此架构提供高品质视讯并自低译码器复杂性受益,因通常是使用单层译码。
不同的服务可涉及该空间分辨率、时间分辨率及/或比特率增加的视讯传送品质。本文着重提供不同程度的空间分辨率。考量以下二服务程度的范例。较低服务率用户接收QCIF分辨率视讯而较高服务率者接收CIF分辨率视讯。二个服务率接收相同时间分辨率的视讯。
一种提供多投射服务的方法是将所有服务率的串行同时传送编码。此方法在所有服务率产生高品质视讯。但因必需提供服务给所有用户类型,该编码器必需送大量数据即所有服务率和。多投射传送的主要耗费是所用总频宽(用于传送封包总数)。网络阻塞亦是问题,故其可能需限制所有服务率的总组合率。最小频宽需为能对所有用户提供适当服务的最大单一服务率。以下讨论假设对总频宽制约,其中该约束率在最大单一服务率及所有服率和间。
由将该较高比特流降为该约束总及较低比特流间的差,仍可使用同时传送方法提供二个服务程度。另一方法是使用空间可调性。直觉上预期空间可调性性能较佳,因该基层(QCIF)串行的信息是用来帮助架构该提升层(CIF)串行。通常这是正确的,但本发明发现在小部份位配置于该基层/较低分辨率流时,同时传送编码性能可优点空间可调性。这和直觉相反,因空间可调性″重用″该基层信息而其提升层比特率和同时传送编码所用单层比特流相同。一个原因可为可调编码架构产生的耗用高于所得增益。该基层在少量位配置于其中时无法提供良好的预测。
图28及29分别是在总使用频宽限制为200kbps及使用者服务率为50kbps及200kbps时使用同时传送编码及空间可调性的多投射广播范例。
在图28服务器2800分别提供40及160kbps的同时传送编码较低分辨率及较高分辨率流至200kbps信道2810及如路由器2820的切换装置。该40kbps流由一路径2830路由至该第一服务及该160kbps流由一路径2850路由至该第二服务。该路由器2820不会将该160kbps流路由至该第一服务,因该第一服务无法处理此数据率。另外该路由器2820不会将该40kbps流路由至该第二服务,因此服务只用于一个流并可处理该较高分辨率160kbps流。
可使用任何既有计算机网络路由协议达此结果。特别是应通知该路由器2820哪些服务可处理哪些数据率。各服务可代表许多终端使用者。
在图29服务器2900分别提供40及160kbps的空间可调性编码基本及提升层至200kbps信道2910及如路由器2920的切换装置。该40kbps基层由一路径2930路由至该第一服务,而该40kbps基层及160kpbs提升层分别由路径2940及2950路由至该第二服务(可为相同路径)。该第二服务接收该二层,因其必需一起使用以得到最大信息(如影像分辨率)。
要知道50kbps服务率的视讯均相同而和所用编码方法无关。即50kbps服务的使用者在使用同时传送编码时只接收40kbps较低分辨率流或在使用可调性编码时则对等的40kbps基层。
该同时传送编码方法(图28)的200kbps服务使用该160kbps流架构较高服务率。此服务并未使用该40kbps单层流,因其和该160kbps层无关,因此用以无益。
但该空间可调性(图29)的200kbps服务在该160kbps提升层外可使用该40kbps基层,使的架构使用200kbps的较高服务率视讯。这些图式支持该空间可调性性能优于同时传送编码的直觉。
如讨论,图22显示不同位配置但总频宽固定为0.32Mbps的使用空间可调性及同时传送编码的QCIF及CIF串行车上电话串行编码结果。注意对许多不同位配置,该空间可调性性能优于同时传送编码。但若不到20%的总频宽配置于该基层/较低分辨率流,则同时传送编码会较有效。
图30显示该车上电话QCIF及CIF串行的空间可调性及同时传送编码间的一决定边界2620(见图26)。依照本发明,该决定边界上的作用点应使用同时传送编码,以下的点应使用空间可调性编码。在此所用的作用点定义为整个串行的平均比特率。要知道可使用如一组画面的较小串行子集进行类似分析。本文描述的方法可用于架构此曲线,然后用以决定应使用同时传送编码或是空间可调性将该视讯编码。
一固定总比特率只在二变量(该基本及提升比特率)提供一制约,故可使用该总比特率之任何分布。例如假设可用0.5Mbps总比特率。在一情形该QCIF分辨率使用0.25Mbps,该CIF分辨率使用0.25Mbps。因此作用点3000在该曲线2620之下,应使用空间可调性以使该CIF数据质量最佳。在另一情形该QCIF分辨率使用0.1Mbps,而该CIF分辨率使用0.4Mpbs。因此作用点3020在该曲线2620之上,应使用同时传送编码使该CIF数据质量最佳。要记住不论使用同时传送编码或可调性编码,该QCIF数据质量均相同。
在此描述的仿真虽在决定使用的传送模式前利用许多编码及译码实验,但可决定模型参数而未对每一串行进行编码/译码实验。
若已有良好的模型参数则不必决定各串行的新模型参数。这可为串行类似的情形。例如在图26该串行车上电话2620、信息2640及静音2650的编码决定边界类似。只要该数据点未靠近该决定边界,使用以这些串行之一所得边界帮助一不同串行编码决定同时传送/可调编码仍太乐观。可能希望决定各串行的新模型参数,特别是在要将视讯传送品质最佳化而不管计算成本的增加时。
图31说明依照本发明的自适性同时传送/空间可调性编码器装置。一较高分辨率视讯串行(如CIF)及一较低视讯串行(如QCIF)供至一分析功能3110及至个别的开关3130及3140。该分析功能3110根据以上讨论分析该视讯串行以提供一选择信号至该开关3130、3140,以将该二串行路由至该同时传送编码器400或可调编码器100。分别见图1及4。
该分析功能3110可包含一编码器及译码器,其中一层的PSNR是由将该译码器输出和该编码器输入比较而得。
可分析各具一些(如150)画面/帧的连续串行,以自适性路由各串行至该同时传送编码器400或该可调编码器100。另外该分析在该视讯送至使用者前可离线。以此方式可避免不必要的处理延迟。例如该视讯数据可自内存回复、分析,然后回到该储存装置。可标记各分析数据串行以显示其是否随后路由至该同时传送编码器400该可调式编码器100。可由多种方式实行此标记,如提供具该视讯数据的附加控制位。
另外注意该译码器应能决定接收的是同时传送编码或可调性编码串行。这可依照该相关数据标准(如MPGE-4)达成。另外该译码器应有可调译码能力及单层译码能力。好处是可实行本发明而无需改进此译码器。
本发明的好处是提供多投射环境的视讯数据压缩。于该压缩处理使用空间可调性及同时传送编码。仿真是用于将较低分辨率(如QCIF)及较高分辨率(如CIF)串行的空间可调性及同时传送编码性能做比较。此工作的主要结果及结论为:
利用对数模型代表单层编码结果。然后可利用此模型轻易算出在同时传送编码的二层达等品质的位配置。
配置总频宽的40±4%(如36-44%)至该较低分辨率流,于同时传送编码的二流达同品质。
对空间可调编码,配置不到20%总频宽于基层是无效率的。
配置总频宽的45±5%(如40-50%)至该基层,于空间可调编码的二层达同品质。
在提升比特率很低时空间可调性可能是唯一的选择,而在提升比特率很高时同时传送编码可能是唯一的选择,但在一般作用区域空间可调性通常提供较高的品质。
可产生决定边界以指引在空间可调性及同时传送编码间的决定。
在配置于该基层/较低分辨率流的位比例小时,同时传送编码性能可优于空间可调性。这可能是因该可调编码架构的开销及/或该基层的不良预测。
本发明虽以各种较佳实施例进行描述,但可有各种改进及应用而未偏移该权利要求所订的本发明范畴。
Claims (40)
1.一种视讯数据编码方法,包含以下步骤:
仿真较低分辨率视讯数据及对应较高分辨率视讯数据的品质,以改变该较低及较高分辨率视讯数据间的位配置;
决定该仿真品质的交叉点,在此该较低及较高分辨率视讯数据有一大约相等的品质,及决定其对应的位配置;以及
依照该对应的位配置将该视讯数据编码。
2.如权利要求1所述的方法,其中:
于该编码步骤编码的视讯信息包含一系列画面。
3.如权利要求1所述的方法,其中:
该对应位配置是包含该较低及较高分辨率视讯数据之一画面串行的平均。
4.如权利要求1所述的方法,其中:
于该编码步骤编码的视讯数据和该仿真步骤所用的视讯数据不同。
5.如权利要求1所述的方法,其中:
于该编码步骤编码的视讯数据和该仿真步骤所用的视讯数据相同。
6.如权利要求1所述的方法,其中:
该品质包含一尖峰信号噪声比(PSNR)。
7.如权利要求1所述的方法,其中:
该仿真步骤使用一对数模型。
8.如权利要求1所述的方法,其中:
该编码视讯数据的编码和同时传送流独立。
9.如权利要求1所述的方法,其中:
该编码视讯数据使用一基层及至少一提升层的空间可调性编码编码。
10.如权利要求1所述的方法,其中:
该交叉点依照二分法决定。
11.如权利要求1所述的方法,其中:
该交叉点是以外推法求得。
12.一种视讯数据编码方法,包含以下步骤:
利用(a)同时传送编码及(b)空间可调性编码,对该较低及较高分辨率视讯数据间的不同位配置仿真较低分辨率视讯数据及对应较高分辨率视讯数据质量;以及
利用同时传送编码及空间可调性编码中在一想要位配置可得较高仿真品质者,将该视讯数据对该较低及较高分辨率视讯数据以该想要位配置编码。
13.如权利要求12所述的方法,其中:
该视讯数据包含一画面串行。
14.如权利要求12所述的方法,其中:
该想要位配置是包含该较低及较高分辨率视讯数据的一画面串行的平均。
15.如权利要求12所述的方法,其中:
于该编码步骤编码的视讯数据和该仿真步骤所用的视讯数据不同。
16.如权利要求12所述的方法,其中:
于该编码步骤编码的视讯数据和该仿真步骤所用的视讯数据相同。
17.如权利要求12所述的方法,其中:
该仿真品质包含一尖峰信号噪声比(PSNR)。
18.如权利要求12所述的方法,其中:
该仿真步骤使用一对数模型。
19.一种视讯数据的编码方法,包含以下步骤:
(a)决定较低分辨率视讯数据各种位配置的位配置决定边界;
其中对该较低分辨率数据的各种位配置,该决定边界指定对应较高分辨率视讯数据的一位配置;
(b)根据较低分辨率视讯数据及对应较高分辨率视讯数据想要的位配置,决定该视讯数据的作用点;
(c)当该作用点显示该步骤(b)的较高分辨率视讯数据想要的位配置超过该决定边界指定的位配置时,使用同时传送编码将该视讯数据编码;以及
(d)当该作用点显示该步骤(b)的较高分辨率视讯数据想要的位配置小于该决定边界指定的位配置时,使用同时传送编码将该视讯数据编码。
20.如权利要求19所述的方法,其中:
该决定边界和该步骤(a)的约20%较低分辨率视讯数据可用频宽及该步骤(a)的约80%较高分辨率视讯数据可用频宽的位配置对应。
21.如权利要求19所述的方法,其中:
该视讯数据包含一画面串行。
22.如权利要求21所述的方法,其中:
该步骤(b)的想要位配置是该画面串行的平均。
23.如权利要求19所述的方法,其中:
于该编码步骤编码的视讯数据和该步骤(a)所用的视讯数据不同。
24.如权利要求19所述的方法,其中:
于该编码步骤编码的视讯数据和该步骤(a)所用的视讯数据相同。
25.一种将包含较低分辨率数据及对应较高分辨率数据的视讯数据编码的方法,包含以下步骤:
(a)配置一可用频宽的第一部份于该较低分辨率数据,该可用频宽的剩余部份于该较高分辨率数据;以及
(b)若该第一部份小于该可用频宽的约20%使用同时传送编码,及若第一部份大于该可用频宽的约20%使用空间可调性编码将该视讯数据编码。
26.一种将包含较低分辨率数据及对应较高分辨率数据的视讯数据编码的方法,包含以下步骤:
将约36-44%可用频宽配置于该较低分辨率数据及剩余可用频宽于该较高分辨率数据,以使该较低及较高分辨率数据于同时传送编码时约达等品质。
27.如权利要求26所述的方法,其中:
该品质包含一尖峰信号噪声比(PSNR)。
28.一种将包含较低分辨率数据及对应较高分辨率数据的视讯数据编码的方法,包含以下步骤:
将约40-50%可用频宽配置于该较低分辨率数据及剩余可用频宽于该较高分辨率数据,以使该较低及较高分辨率数据于空间可调性编码时约达同品质。
29.如权利要求28所述的方法,其中:
该品质包含一尖峰信号噪声比(PSNR)。
30.一种将包含较低分辨率数据及对应较高分辨率数据的视讯数据经由一自适性使用空间可调性编码及同时传送编码的网络和一第一使用者通讯的方法,包含以下步骤:
依照所用为空间可调性编码或同时传送编码,及依照该第一使用者的数据服务容量架构该网络的切换装置,以选择性传送至少一较低及较高分辨率数据至该第一使用者。
31.如权利要求30所述的方法,其中:
当使用该同时传送编码时,该切换装置架构为:(a)若该较高分辨率数据数据率在该数据服务容量间时,送该较高分辨率数据至该第一使用者,以及(b)若该较高分辨率数据数据率不在该数据服务容量间而较低分辨率数据数据率在数据服务容量间时,送该较低分辨率数据至该第一使用者。
32.如权利要求30所述的方法,其中:
当使用空间可调性编码时,该切换装置架构为:(a)若该较高分辨率数据及较低分辨率数据的组合数据率在该服务容量间时,送该二数据至该第一使用者,以及(b)若该组合数据率不在该数据服务容量间,而该较低分辨率数据在该数据服务容量间时,送该较低分辨率数据至该第一使用者。
33.如权利要求30所述的方法,其中:
该切换装置包含一路由器。
34.一种视讯数据编码装置,包含:
对该较低及较高分辨率视讯数据间的不同位配置,仿真较低分辨率视讯数据及对应较高分辨率视讯数据质量的装置;
决定该仿真品质交叉点的装置,在此该较低及较高分辨率视讯数据有一大约相等的品质,及该对应位配置;以及
依照该对应位配置将该视讯数据编码的装置。
35.一种视讯数据编码装置,包含:
利用(a)同时传送编码及(b)空间可调性编码,对该较低及较高分辨率视讯数据间的不同位配置仿真较低分辨率视讯数据及对应较高分辨率视讯数据质量的装置;以及
利用同时传送编码及空间可调性编码中在一想要位配置可得较高仿真品质者,将该视讯数据以该较低及较高分辨率视讯数据的想要位配置编码的装置。
36.一种视讯数据的编码装置,包含:
(a)决定较低分辨率视讯数据各种位配置的位配置决定边界的装置;
其中对该较低分辨率数据的各种位配置,该决定边界指定对应较高分辨率视讯数据的一位配置;
(b)根据较低分辨率视讯数据及对应较高分辨率视讯数据想要的位配置,决定该视讯数据的作用点的装置;
(c)当该作用点显示该装置(b)的较高分辨率视讯数据想要的位配置超过该决定边界指定的位配置时,使用同时传送编码将该视讯数据编码的装置;以及
(d)当该作用点显示该装置(b)的较高分辨率视讯数据想要的位配置小于该决定边界指定的位配置时,使用同时传送编码将该视讯数据编码的装置。
37.一种将包含较低分辨率数据及对应较高分辨率数据的视讯数据编码的装置,包含:
(a)配置一可用频宽的第一部份于该较低分辨率数据,该可用频宽的剩余部份于该较高分辨率数据的装置;以及
(b)若该第一部份小于该可用频宽的约20%使用同时传送编码,及若第一部份大于该可用频宽的约20%使用空间可调性编码将该视讯数据编码的装置。
38.一种将包含较低分辨率数据及对应较高分辨率数据的视讯数据编码的装置,包含:
将约36-44%可用频宽配置于该较低分辨率数据及剩余可用频宽于该较高分辨率数据,以使该较低及较高分辨率数据于同时传送编码时约达等品质的装置。
39.一种将包含较低分辨率数据及对应较高分辨率数据的视讯数据编码的装置,包含:
将约40-50%可用频宽配置于该较低分辨率数据及剩余可用频宽于该较高分辨率数据,以使该较低及较高分辨率数据于空间可调性编码时约达同品质的装置。
40.一种将包含较低分辨率数据及对应较高分辨率数据的视讯数据经由一自适性使用空间可调性编码及同时传送编码的网络和一第一使用者通讯的装置,包含:
依照所用为空间可调性编码或同时传送编码,及依照该第一使用者的数据服务容量架构该网络的切换装置,以选择性传送至少一较低及较高分辨率数据至该第一使用者。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17177499P | 1999-12-22 | 1999-12-22 | |
US60/171,774 | 1999-12-22 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN1435055A true CN1435055A (zh) | 2003-08-06 |
Family
ID=22625083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN00819043A Pending CN1435055A (zh) | 1999-12-22 | 2000-04-10 | 使用空间可调性及同时传送编码的多投射环境的视讯压缩 |
Country Status (9)
Country | Link |
---|---|
US (1) | US6580754B1 (zh) |
EP (1) | EP1249131B1 (zh) |
KR (1) | KR20020070362A (zh) |
CN (1) | CN1435055A (zh) |
AU (1) | AU4338800A (zh) |
CA (1) | CA2395605C (zh) |
DE (1) | DE60009159T2 (zh) |
TW (1) | TW465243B (zh) |
WO (1) | WO2001047283A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100444637C (zh) * | 2005-04-14 | 2008-12-17 | 中兴通讯股份有限公司 | 一种在网络中传输视频流的方法 |
CN101601249B (zh) * | 2007-01-30 | 2013-01-16 | 高通股份有限公司 | 基于质量和速率信息对多媒体内容进行尺寸调整的方法和系统 |
CN103703785A (zh) * | 2011-08-01 | 2014-04-02 | 索尼电脑娱乐公司 | 视频数据生成单元、图像显示设备、视频数据生成方法、视频图像显示方法、以及视频图像文件数据结构 |
CN113348488A (zh) * | 2018-12-21 | 2021-09-03 | 松下电器(美国)知识产权公司 | 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置 |
Families Citing this family (77)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2364841B (en) * | 2000-07-11 | 2002-09-11 | Motorola Inc | Method and apparatus for video encoding |
WO2002025925A2 (en) * | 2000-09-22 | 2002-03-28 | Koninklijke Philips Electronics Nv | Hybrid temporal-snr fine granular scalability video coding |
KR20020064932A (ko) * | 2000-10-11 | 2002-08-10 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 미세 입상 비디오 인코딩을 위한 공간적 스케일러빌리티 |
US20020126759A1 (en) * | 2001-01-10 | 2002-09-12 | Wen-Hsiao Peng | Method and apparatus for providing prediction mode fine granularity scalability |
US7349539B2 (en) * | 2001-05-04 | 2008-03-25 | Hewlett-Packard Development Company, L.P. | Encoding and encrypting devices for secure scalable data streaming |
US7184548B2 (en) * | 2001-05-04 | 2007-02-27 | Hewlett-Packard Development Company, L.P. | Encoding and decoding methods for secure scalable streaming and related systems |
US6785334B2 (en) * | 2001-08-15 | 2004-08-31 | Koninklijke Philips Electronics N.V. | Method for transmission control in hybrid temporal-SNR fine granular video coding |
FI114527B (fi) | 2002-01-23 | 2004-10-29 | Nokia Corp | Kuvakehysten ryhmittely videokoodauksessa |
FI114433B (fi) | 2002-01-23 | 2004-10-15 | Nokia Corp | Otossiirtymän koodaaminen videokoodauksessa |
EP1670259A3 (en) | 2002-01-23 | 2010-03-03 | Nokia Corporation | Grouping of image frames in video coding |
US6944222B2 (en) * | 2002-03-04 | 2005-09-13 | Koninklijke Philips Electronics N.V. | Efficiency FGST framework employing higher quality reference frames |
US20030169813A1 (en) * | 2002-03-08 | 2003-09-11 | Van Der Schaar Mihaela | Method and apparatus to execute a smooth transition between FGS encoded structures |
US6917713B2 (en) * | 2002-05-29 | 2005-07-12 | Koninklijke Philips Electronics N.V. | System and method for enhancing videos from drift-free scalable bitstream |
US20060140264A1 (en) * | 2002-06-18 | 2006-06-29 | Cecile Dufour | Video encoding method and corresponding encoding and decoding devices |
US7136532B2 (en) * | 2002-06-27 | 2006-11-14 | Koninklijke Philips Electronics N.V. | FGS decoder based on quality estimated at the decoder |
US7523482B2 (en) * | 2002-08-13 | 2009-04-21 | Microsoft Corporation | Seamless digital channel changing |
US8397269B2 (en) | 2002-08-13 | 2013-03-12 | Microsoft Corporation | Fast digital channel changing |
US8204079B2 (en) | 2002-10-28 | 2012-06-19 | Qualcomm Incorporated | Joint transmission of multiple multimedia streams |
US20040083495A1 (en) * | 2002-10-29 | 2004-04-29 | Lane Richard D. | Mulitmedia transmission using variable gain amplification based on data importance |
US20060146184A1 (en) * | 2003-01-16 | 2006-07-06 | Gillard Clive H | Video network |
US20060123456A1 (en) * | 2003-02-07 | 2006-06-08 | Hiroaki Dei | Video data distribution control method, device, system and program |
US7603689B2 (en) * | 2003-06-13 | 2009-10-13 | Microsoft Corporation | Fast start-up for digital video streams |
US7444419B2 (en) * | 2003-10-10 | 2008-10-28 | Microsoft Corporation | Media stream scheduling for hiccup-free fast-channel-change in the presence of network chokepoints |
US7562375B2 (en) * | 2003-10-10 | 2009-07-14 | Microsoft Corporation | Fast channel change |
JP2007509525A (ja) * | 2003-10-20 | 2007-04-12 | サムスン エレクトロニクス カンパニー リミテッド | 視覚的画質を均一にするビットレートコントロール方法及び装置 |
US20070160126A1 (en) * | 2003-12-03 | 2007-07-12 | Koninklijke Philips Electronic, N.V. | System and method for improved scalability support in mpeg-2 systems |
US7430222B2 (en) | 2004-02-27 | 2008-09-30 | Microsoft Corporation | Media stream splicer |
KR101145261B1 (ko) * | 2004-02-27 | 2012-05-24 | 삼성전자주식회사 | 멀티미디어 데이터를 기록한 정보저장매체, 그 재생방법및 재생장치 |
JP2007525924A (ja) * | 2004-03-04 | 2007-09-06 | サムスン エレクトロニクス カンパニー リミテッド | ビデオストリーミングサービスのためのビデオコーディング方法とビデオエンコーディングシステム、及びビデオデコーディング方法とビデオデコーディングシステム |
US7809155B2 (en) | 2004-06-30 | 2010-10-05 | Intel Corporation | Computing a higher resolution image from multiple lower resolution images using model-base, robust Bayesian estimation |
US7447382B2 (en) | 2004-06-30 | 2008-11-04 | Intel Corporation | Computing a higher resolution image from multiple lower resolution images using model-based, robust Bayesian estimation |
US7640352B2 (en) * | 2004-09-24 | 2009-12-29 | Microsoft Corporation | Methods and systems for presentation of media obtained from a media stream |
EP1813114A4 (en) * | 2004-10-18 | 2007-11-07 | Samsung Electronics Co Ltd | METHOD AND DEVICE FOR FORWARD DECODING A HYBRID BITSTROM |
KR100679022B1 (ko) * | 2004-10-18 | 2007-02-05 | 삼성전자주식회사 | 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더 |
WO2006061838A2 (en) | 2004-12-08 | 2006-06-15 | Imagine Communications Ltd. | Distributed statistical multiplexing of multi-media |
US7477653B2 (en) | 2004-12-10 | 2009-01-13 | Microsoft Corporation | Accelerated channel change in rate-limited environments |
KR100714696B1 (ko) * | 2005-06-24 | 2007-05-04 | 삼성전자주식회사 | 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치 |
AU2006269728B2 (en) * | 2005-07-11 | 2011-11-03 | Interdigital Madison Patent Holdings | Method and apparatus for macroblock adaptive inter-layer intra texture prediction |
JP4618430B2 (ja) * | 2005-09-02 | 2011-01-26 | 富士ゼロックス株式会社 | 画像処理装置、画像処理方法及びそのプログラム |
US8135040B2 (en) * | 2005-11-30 | 2012-03-13 | Microsoft Corporation | Accelerated channel change |
JP2009518981A (ja) | 2005-12-08 | 2009-05-07 | ヴィドヨ,インコーポレーテッド | ビデオ通信システムでのエラー回復力およびランダムアクセスのためのシステムおよび方法 |
US8582905B2 (en) | 2006-01-31 | 2013-11-12 | Qualcomm Incorporated | Methods and systems for rate control within an encoding device |
US20070201388A1 (en) * | 2006-01-31 | 2007-08-30 | Qualcomm Incorporated | Methods and systems for resizing multimedia content based on quality and rate information |
US8693538B2 (en) * | 2006-03-03 | 2014-04-08 | Vidyo, Inc. | System and method for providing error resilience, random access and rate control in scalable video communications |
FR2903556B1 (fr) * | 2006-07-04 | 2008-10-03 | Canon Kk | Procedes et des dispositifs de codage et de decodage d'images, un systeme de telecommunications comportant de tels dispositifs et des programmes d'ordinateur mettant en oeuvre de tels procedes |
US8630355B2 (en) * | 2006-12-22 | 2014-01-14 | Qualcomm Incorporated | Multimedia data reorganization between base layer and enhancement layer |
US20090187960A1 (en) * | 2008-01-17 | 2009-07-23 | Joon Hui Lee | IPTV receiving system and data processing method |
JP5369893B2 (ja) * | 2008-05-30 | 2013-12-18 | 株式会社Jvcケンウッド | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラム |
CN101686383B (zh) * | 2008-09-23 | 2013-05-01 | Utc消防和保安美国有限公司 | 通过网络传输媒体的方法及系统 |
US20100074321A1 (en) * | 2008-09-25 | 2010-03-25 | Microsoft Corporation | Adaptive image compression using predefined models |
US20100149301A1 (en) * | 2008-12-15 | 2010-06-17 | Microsoft Corporation | Video Conferencing Subscription Using Multiple Bit Rate Streams |
US8380790B2 (en) * | 2008-12-15 | 2013-02-19 | Microsoft Corporation | Video conference rate matching |
US8228363B2 (en) * | 2009-01-30 | 2012-07-24 | Polycom, Inc. | Method and system for conducting continuous presence conferences |
FR2954035B1 (fr) * | 2009-12-11 | 2012-01-20 | Thales Sa | Procede d'estimation de la qualite video a une resolution quelconque |
US8947492B2 (en) * | 2010-06-18 | 2015-02-03 | Microsoft Corporation | Combining multiple bit rate and scalable video coding |
US8576271B2 (en) * | 2010-06-25 | 2013-11-05 | Microsoft Corporation | Combining direct and routed communication in a video conference |
US9544587B2 (en) | 2012-05-14 | 2017-01-10 | Google Technology Holdings LLC | Scalable video coding with enhanced base layer |
US8791982B1 (en) | 2012-06-27 | 2014-07-29 | Google Inc. | Video multicast engine |
US20140028788A1 (en) | 2012-07-30 | 2014-01-30 | Polycom, Inc. | Method and system for conducting video conferences of diverse participating devices |
US20140098880A1 (en) * | 2012-10-05 | 2014-04-10 | Qualcomm Incorporated | Prediction mode information upsampling for scalable video coding |
US9516080B2 (en) | 2013-05-31 | 2016-12-06 | Western Digital Technologies, Inc. | Methods and apparatuses for streaming content |
US9854020B1 (en) | 2014-02-14 | 2017-12-26 | Google Inc. | Bitrate selection for video streaming |
US9948618B2 (en) | 2015-02-05 | 2018-04-17 | Western Digital Technologies, Inc. | Secure stream buffer on network attached storage |
US9609275B2 (en) | 2015-07-08 | 2017-03-28 | Google Inc. | Single-stream transmission method for multi-user video conferencing |
US10390071B2 (en) * | 2016-04-16 | 2019-08-20 | Ittiam Systems (P) Ltd. | Content delivery edge storage optimized media delivery to adaptive bitrate (ABR) streaming clients |
AU2020208640A1 (en) * | 2019-01-17 | 2021-08-05 | Adeia Media Holdings Llc | Optimal multi-codec ABR ladder design |
GB2617784B (en) * | 2019-03-20 | 2024-01-10 | V Nova Int Ltd | Temporal signalling for video coding technology |
US20230179779A1 (en) * | 2019-06-12 | 2023-06-08 | Sony Group Corporation | Image processing device and method |
KR20210034534A (ko) * | 2019-09-20 | 2021-03-30 | 한국전자통신연구원 | 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체 |
CN114710665A (zh) * | 2019-09-20 | 2022-07-05 | 杭州海康威视数字技术股份有限公司 | 一种解码、编码方法、装置及其设备 |
CN112106362A (zh) * | 2019-09-30 | 2020-12-18 | 深圳市大疆创新科技有限公司 | 可移动平台的图像处理方法、装置、可移动平台及介质 |
US20220400287A1 (en) * | 2019-11-15 | 2022-12-15 | Hfi Innovation Inc. | Method and Apparatus for Signaling Horizontal Wraparound Motion Compensation in VR360 Video Coding |
US12022126B2 (en) * | 2019-11-22 | 2024-06-25 | Sharp Kabushiki Kaisha | Systems and methods for signaling tiles and slices in video coding |
JP2023524000A (ja) * | 2020-05-19 | 2023-06-08 | グーグル エルエルシー | 品質正規化ビデオコード変換のための動的パラメータ選択 |
US20230306978A1 (en) * | 2020-07-07 | 2023-09-28 | Panasonic Intellectual Property Corporation Of America | Coding apparatus, decoding apparatus, coding method, decoding method, and hybrid coding system |
US11818192B2 (en) * | 2022-02-28 | 2023-11-14 | Nvidia Corporation | Encoding output for streaming applications based on client upscaling capabilities |
US20230412812A1 (en) * | 2022-06-15 | 2023-12-21 | Tencent America LLC | Systems and methods for joint signaling of transform coefficient signs |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5742892A (en) * | 1995-04-18 | 1998-04-21 | Sun Microsystems, Inc. | Decoder for a software-implemented end-to-end scalable video delivery system |
US6111596A (en) * | 1995-12-29 | 2000-08-29 | Lucent Technologies Inc. | Gain and offset correction for efficient stereoscopic coding and improved display |
KR100209643B1 (ko) * | 1996-05-02 | 1999-07-15 | 구자홍 | 액정표시소자 구동회로 |
US6233017B1 (en) * | 1996-09-16 | 2001-05-15 | Microsoft Corporation | Multimedia compression system with adaptive block sizes |
US6728775B1 (en) * | 1997-03-17 | 2004-04-27 | Microsoft Corporation | Multiple multicasting of multimedia streams |
US6292512B1 (en) * | 1998-07-06 | 2001-09-18 | U.S. Philips Corporation | Scalable video coding system |
US6151362A (en) * | 1998-10-30 | 2000-11-21 | Motorola, Inc. | Joint rate control for stereoscopic video coding |
-
2000
- 2000-04-10 US US09/546,647 patent/US6580754B1/en not_active Expired - Lifetime
- 2000-04-10 CA CA2395605A patent/CA2395605C/en not_active Expired - Lifetime
- 2000-04-10 EP EP00923225A patent/EP1249131B1/en not_active Expired - Lifetime
- 2000-04-10 WO PCT/US2000/009584 patent/WO2001047283A1/en not_active Application Discontinuation
- 2000-04-10 KR KR1020027008107A patent/KR20020070362A/ko not_active Application Discontinuation
- 2000-04-10 DE DE60009159T patent/DE60009159T2/de not_active Expired - Lifetime
- 2000-04-10 CN CN00819043A patent/CN1435055A/zh active Pending
- 2000-04-10 AU AU43388/00A patent/AU4338800A/en not_active Abandoned
- 2000-05-05 TW TW089108630A patent/TW465243B/zh not_active IP Right Cessation
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100444637C (zh) * | 2005-04-14 | 2008-12-17 | 中兴通讯股份有限公司 | 一种在网络中传输视频流的方法 |
CN101601249B (zh) * | 2007-01-30 | 2013-01-16 | 高通股份有限公司 | 基于质量和速率信息对多媒体内容进行尺寸调整的方法和系统 |
CN103703785A (zh) * | 2011-08-01 | 2014-04-02 | 索尼电脑娱乐公司 | 视频数据生成单元、图像显示设备、视频数据生成方法、视频图像显示方法、以及视频图像文件数据结构 |
CN103703785B (zh) * | 2011-08-01 | 2016-11-23 | 索尼电脑娱乐公司 | 视频数据生成单元、图像显示设备、视频数据生成方法、视频图像显示方法、以及视频图像文件数据结构 |
US9516310B2 (en) | 2011-08-01 | 2016-12-06 | Sony Corporation | Moving image data generation device, moving image display device, moving image data generation method, moving image displaying method, and data structure of moving image file |
CN113348488A (zh) * | 2018-12-21 | 2021-09-03 | 松下电器(美国)知识产权公司 | 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置 |
CN113348488B (zh) * | 2018-12-21 | 2024-05-10 | 松下电器(美国)知识产权公司 | 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置 |
Also Published As
Publication number | Publication date |
---|---|
TW465243B (en) | 2001-11-21 |
CA2395605A1 (en) | 2001-06-28 |
DE60009159T2 (de) | 2004-11-25 |
EP1249131B1 (en) | 2004-03-17 |
US6580754B1 (en) | 2003-06-17 |
WO2001047283A1 (en) | 2001-06-28 |
AU4338800A (en) | 2001-07-03 |
DE60009159D1 (de) | 2004-04-22 |
KR20020070362A (ko) | 2002-09-06 |
EP1249131A1 (en) | 2002-10-16 |
CA2395605C (en) | 2011-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1435055A (zh) | 使用空间可调性及同时传送编码的多投射环境的视讯压缩 | |
CN1244230C (zh) | 一种生产视频输出信号的方法 | |
CN101049026A (zh) | 采用栅格运动估计和补偿的可扩展视频编码 | |
CN1214647C (zh) | 图像编码方法和图像编码器 | |
US6263022B1 (en) | System and method for fine granular scalable video with selective quality enhancement | |
CN1203676C (zh) | 能够进行简易的多窗口显示的活动图象解码装置以及活动图象解码方法 | |
JP6291172B2 (ja) | 多階層ビデオコーディングのためのレート制御方法、これを用いるビデオエンコード装置及びビデオ信号処理システム | |
CN1151685C (zh) | 编码系统中用于优化速率控制的装置和方法 | |
CN1992890A (zh) | 提供媒体节目的装置及方法 | |
CN1736107A (zh) | 视频发送系统、视频发送装置、视频接收装置和视频发送方法 | |
CN1615645A (zh) | 编码动态滤波器 | |
CN101044763A (zh) | 编码器辅助式自适应视频帧内插 | |
CN1240226C (zh) | 有漂移补偿的视频代码转换器和用于补偿漂移的设备 | |
CN1643912A (zh) | 用于在视频序列中对运动进行编码的方法 | |
CN1315118A (zh) | 压缩与未经压缩的数字视频信号的统计式多路转接的动态位分配 | |
CN1926873A (zh) | 用于视频流传输业务的视频编码和解码方法及系统 | |
CN1476248A (zh) | 压缩图像数据从发送端传输到接收端的视频数据收发系统 | |
CN1655622A (zh) | 视频通信设备与视频通信方法 | |
CN1917647A (zh) | 自适应地选择用于熵编码的上下文模型的方法和设备 | |
CN1781315A (zh) | 用于编码图像序列的方法 | |
CN1620761A (zh) | 自适应可变长度编码 | |
CN1593065A (zh) | 其中图像被分成条带的前景和背景的视频编码与解码 | |
CN1658673A (zh) | 视频压缩编解码方法 | |
CN1741610A (zh) | 图像编码数据的转换方法以及装置、系统和程序 | |
CN1640149A (zh) | 影像数据转换装置以及影像数据转换方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |