CN1266589A - 通用串行总线连接的双重压缩图像比特流摄像机的装置与方法 - Google Patents
通用串行总线连接的双重压缩图像比特流摄像机的装置与方法 Download PDFInfo
- Publication number
- CN1266589A CN1266589A CN99800597A CN99800597A CN1266589A CN 1266589 A CN1266589 A CN 1266589A CN 99800597 A CN99800597 A CN 99800597A CN 99800597 A CN99800597 A CN 99800597A CN 1266589 A CN1266589 A CN 1266589A
- Authority
- CN
- China
- Prior art keywords
- image signal
- signal
- picture
- decoded
- compressing image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009977 dual effect Effects 0.000 title description 2
- 230000033001 locomotion Effects 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000015654 memory Effects 0.000 claims description 30
- 238000011002 quantification Methods 0.000 claims description 28
- 238000007906 compression Methods 0.000 claims description 27
- 230000005236 sound signal Effects 0.000 claims description 25
- 230000006835 compression Effects 0.000 claims description 24
- 238000013139 quantization Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 4
- 101100278747 Caenorhabditis elegans dve-1 gene Proteins 0.000 abstract description 10
- 238000010304 firing Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000006855 networking Effects 0.000 description 4
- 230000002787 reinforcement Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000693067 Acrostichus puri Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/4143—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a Personal Computer [PC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/148—Interfacing a video terminal to a particular transmission medium, e.g. ISDN
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明是关于显示图像于一局域显示器(318)与一远端显示器(300')的装置与方法。包括,首先,对一原始图像信号(V)进行编码(312)以产生一第一压缩图像信号(LLV-I)。利用该第一压缩图像信号,该图像信号亦可被编码产生一第二压缩图像信号(ELV-I)。传送两信号至一区域端点(314),两信号在此被解码产生第一(DVL-I)与第二解码图像信号。该图像信号(DVE-I)的一第一解码版本由该第一与第二解码图像信号的结合而产生。仅第一压缩图像信号(LLV-l;LLV-r)传送至一远端端点,其中该图像信号的一第二解码版本(DVL-r)仅由该第一压缩图像信号(LLV-r)重建而得。该第一压缩图像信号可由对原始图像信号(V)进行临时运动补偿编码(460)和空间编码(430)而产生,该第二压缩图像信号可由对第一压缩图像信号进行空间和临时运动补偿解码以及从该原始图像信号(V)的相应图片的空间和临时对准象素中提取(418)其每个图片的个个象素,以形成一差值图像信号。然后该差值图像信号仅被空间编码以产生该第二压缩图像信号。为产生原始图像信号的该第一解码版本,该第一压缩图像信号可被空间(504,506,508)和临时运动补偿(510,512,SW)解码,且该第二压缩图像信号可仅被空间解码。该第二解码图像信号的各图片的每个象素可加到(514)该第一解码图像信号的相应临时和空间对准图片象素上。
Description
相关的申请
本发明与下列已知专利应用领域相关:
(1)美国专利公告第08/708388号,具有通用串行总线接口的运动图像摄像机(“Moving Picture Camera with Universal Serial Bus Interface”)发明人Peter H.Hsieh and Shyh-Rong Wang;以及
(2)美国专利公告第08/792683号,用于运动图像视频摄像机的数字型运动和静止图像摄像机适配器(“Digital Moving and Still Picture Camera AdaptorMoving Picture Video Camera”)发明人Peter H.Hsieh and Hasan Gadjali。
上面所列的专利申请已转让于和本申请同样的受让人。此处作为参考文件。
本发明所属领域
本发明涉及一种压缩图像信号的连通,例如,用于实时、交互连接。
本发明的背景技术
相关产生压缩图像信号的编码图像以及用以编码压缩信号的技术已为人熟知。如ISO/IEC IS 13818-1,2,3中运动图像及相关音频技术概论:系统:视频和音频(MPEG-2)(Generic of Moving Pictures and Associated Audio:Systems,Video and Audio(“MPEG-2”))。图1所示为主要作为编码及解码标准的MPEG-1(H.261)或MPEG-2(H.262)中的一编码器10以及解码器12的电路图。一原始数字图像信号V输入至编码器10中,图像信号V由宏块(macroblock)所组成。每一宏块包括亮块(iuminance block)及色块(chrominanceblock)。每一区块(block)为一阵列8×8的像素(pixel)。
某些宏块仅由编码器10的空间编码器14进行编码。其他宏块则由编码器10的空间编码器14以及临时编码器16进行空间与临时编码。仅被空间编码的宏块直接经由输出A输出至空间编码器14。(此类输出可由如利用软件、控制信号等构成的开关13来完成)。被临时编码的宏块输入至临时编码器16的减法器18以产生预测误差宏块(prediction error microblocks)。预测误差宏块经由输出B输出至空间编码器14中。空间编码器14包括一离散余弦转换器(discrete cosine transformer,DCT)20,用以转换每一宏块的区域成为空间频率系数(spatial frequency coefficients)。此类空间频率系数由量化器22进行量化(利用某种预定的“曲折(zig-zag)”或“交替扫描”方式进行扫描)。
宏块在临时编码时,由每一将被编码(to-be-encoded)宏块选取一预测宏块,预测宏块会在减法器18中从被编码宏块内去除。一预测宏块可由下述方式进行选取。在一将被编码图片之前或之后的一个或多个图片(picture)中根据预测宏块被选取的参考图片所指定(designate)。(其中,“图片”一词意指MPEG-2中场(field)或帧(frame)等专业术语)此类参考图片利用编码器10被编码或解码(以及其本身已被临时编码)。在每一可参考图片上执行一搜寻以确认宏块中非常匹配地将被编码图片的将被编码宏块。此时,最佳匹配宏块被选取作为将被编码宏块的预测宏块。此预测宏块可能位于超前于该将被编码图片的一参考图片、该参考图片位于该将被编码图片之后或是从互异参考图片的多重备选预测宏块进行内插所得结果。在某些称为P图片的图片中,此预测宏块备选可能仅由一个或多个超前图片(或是一个内插值)中选取。在其他图片中,即所谓B图片,此预测图片备选可由一超前或落后图片(或是一个内差值)中选取。在其他图片中,即所谓I图片,并无任何预选图片产生。当然,每一宏块仅被施以空间编码(此类经空间编码的宏块有时被视为“内宏块”(intra macroblocks),相反地,运动补偿用的经临时编码宏块有时被视为“间宏块”(inter macroblocks)。此外,假若在P或B图片中的宏块无法寻得足够的预测宏块备选时,此宏块仅可进行空间编码。
此临时编码器16包括一解码器24。解码器24包括一去量化器26用以将空间编码器14输出的系数进行解除量化。利用一反离散余弦转换器28对被去量化系数进行反离散余弦转换以产生像素值。假使此被解码宏块只有进行空间编码,则会直接经由输出C储存在图片存储器30中。假使此解码宏块为一预测误差宏块,则合适的预测宏块会从图片存储器30中取得,并经加法器32加入该解码预测误差宏块中。所形成的像素宏块经由输出D储存于图片存储器30中。例如,只有参考图片的解码宏块储存于图片存储器30内。
以下将描述选取预测宏块的方法。目前编码图片中的下一个将被编码宏块输出至一运动补偿器34。此运动补偿器34还接收来自图片存储器30的参考图片的像素信息,可作为预测下一个将被编码宏块。例如,运动补偿器34利用区块匹配技术从参考图片中确认最佳匹配宏块(或内插宏块)。根据此项技术,多重备选的预测宏块将从可参考图片中抽取,并且与将被编码宏块相比较。根据编码宏块,每一备选预测区块临时会被平移(因备选预测宏块来自与将被编码区块的一不同图片),且根据将被编码宏块以低如1/2个像素的增加速度被空间平移。此预测宏块利用其临时与空间位移被予以确认,称为运动向量MV。运动向量MV由临时编码器16输出。此外,此运动向量MV可加以储存(即储存于图片存储器30中)以便于以后在解码器24中解码图片时确认预测宏块。
空间编码宏块以及预测误差宏块系数信息与运动向量MV则进一步地由运行层(run level)、可变长度编码器36进行编码。信息可被储存在一缓冲器37以塑造解码器上已知大小的缓冲器空间。为确定解码器的缓冲器不会发生溢流或下溢,每一编码宏块所产生的比特数或预测误差宏块可利用量化器适配器39加以调整。(另外,在开始选取编码图片前可跳越(skip)图片并添加信息。)于是所产生的压缩图像信号(比特流)会经由一通道输出(此通道可为传输介质或数字存储/记录介质,如磁盘、光盘、存储器等)至解码器12。(为了简洁,音频信息的编码、系统层级中压缩图像与音频信息的压缩,如传送流以及程序流、与通道层级格式等于本说明中加以省略)。
解码器12有一缓冲器33临时储存接收到的压缩图像信号。压缩图像信号的比特输出至一可变长度、运行层解码器38以进行反向操作,作为此可变长度编码器36以复原运动向量MV以及宏块与预测误差宏块的系数信息。将移动向量MV与宏块系数信息输入与解码器24类似的一解码器子电路(subcircuit)40中。解码器子电路呈现图像并将图像加以解码以产生经解码的图像DV。
MPEG-2也提供可缩放层(scalability layer),请参考B.HASKELL,A.PURI& A.所著NETRAVALI的数字视频:MPEG-2绪论(DIGITAL VIDEO:ANINTRODUCTION TO MPEG-2)第9章、第183至229页(1997)。图2显示一空间缩放解码器(spatial scalability decoder)42以及解码器44与46。空间缩放解码器42可简单地由以下构成。一图像信号输入一空间低通滤波器或十进位器(decimator)48以产生一低的空间分辨率(resolution version)的图像信号。低或基层(lower or base layer)编码器12将此低分辨率的图像信号加以编码以产生一低层或基层压缩的图像信号LLV。基层压缩图像信号LLV为一完全且独立可解码与可显示的图像信号。
接着,一加强层(enhancement layer)压缩图像信号跟着形成。此完全分辨(full resolution)的图像信号V预先地在空间加强编码器51中加以编码。接着,由空间加强编码器的运动补偿器34所产生的每一临时预测宏块被输入至一减法器52。基层压缩图像信号LLV在解码器12中被解码,并在空间内插器50中进行内插成为完全分辨的原始图像信号V。由基层压缩图像信号重建的基层解码图像信号包含经重建的作为空间预测器的宏块。换言之,重建的宏块会被送入减法器52中,用以除去运动补偿器34所产生临时预测宏块。(空间预测宏块在从临时预测宏块中被去除前可先进行加权处理)。因此所形成的预测误差宏块会被如前所述进行空间编码以产生一加强层压缩图像信号ELV。
此处需注意的是加强层与基层编码器10与51都与前述相同且都形成临时预测器。亦即空间缩放器10、51必须有两个图片存储器30、30′(在基层与加强层中储存参考图片以进行区块匹配的存储容量)。
有两种解码器形式可用于空间缩放轮廓编码图像信号(spatial scalabilityprofile encoded video signal)。第一种形式的解码器44采用如与图1所示相同结构的解码器12,仅对基层压缩图像信号LLV进行解码以产生一低分辨率基层图像信号DVL。第二种形式的解码器46则对基层压缩图像信号LLV以及加强层压缩图像信号ELV进行解码。解码器46的一基层解码器12对基层压缩图像信号LLV进行解码。空间内插器50将基层压缩图像信号施以内插后以取得完全分辨的原始图像信号V。一加强层解码器53将加强层压缩图像信号加以解码。一加法器54则选择性地将重建的经内插与解码的基层图像信号的宏块加入(加权)至由加强层及压缩图像信号重建的预测宏块中,重建出一强化逼真度的加强层图像信号DVE。
图3所示为一SNR缩放编码器62以及解码器58与60。编码器56与前述极为相似,但仅有下列不同处。在前述中,空间编码器有量化器22输出量化系数至一运行层、可变长度的编码器36。此量化系数信号会经由去量化器26进行去除量化的工作。经去除量化系数的信号会利用减法器64从原始系数信号(输出自离散余弦转换器20)中减去。接着所产生的误差信号会在一第二量化器22′中被量化以产生一量化器误差信号。此量化器误差信号在一第二运行层、可变长度编码器36′中被予以运行层、可变长度编码。
编码器56中临时编码器68的解码器66有一第一去量化器26,用以接收输出自量化器22的量化系数并加以去量化。解码器66亦有一第二去量化器22′用以接收输出自量化器22′的量化误差系数并加以去量化。接着,在加法器70中将此两去量化系数信号予以相加。编码器56剩余的部分则与图1中所示的相同。
输出于编码器56的运行层、可变长度编码器36的编码信号为一完全独立可编码的基层压缩图像信号LLV。此类信号可由与解码器12相同结构的一基层解码器60所接收。
输出于编码器56的可变长度编码器36′的编码信号为一加强层压缩图像信号ELV,其仅可与该基层压缩图像信号LLV一起被解码。一加强层解码器58有两个运行层、可变长度解码器38、38′用以分别对基层压缩图像信号LLV以及加强层压缩图像信号ELV进行运行层、可变长度解码。接着此等解码信号分别被送入去量化器26与26′用以量化这些信号。加法器70则将两经量化信号在进行反离散余弦转换之前予以相加。其余解码过程则与前述相同。
MPEG-2亦有一信息分区轮廓(data partitioning porfile)以及一临时缩放轮廓(temporal scalability profile)。在信息分区轮廓中,被选取的量化系数的比特被分区成一低精确(low precision)部分及一精确扩展(precision extension)部分。此精确扩展部分单独作为区分紧密的量化系数层(levels),其形成至一加强层压缩图像信号,至于原始编码图像信号的其他部分则形成一基层压缩图像信号。根据此临时缩放轮廓,一原始图像信号会即时被除以十以形成一临时较低分辨的图像信号。此临时性较低分辨率的图像信号在一与编码器12相同的基层编码器中进行编码。原始临时解析图像信号以及低逼真解码图像信号被输入至一加强层编码器。此低逼真解码基层图像信号的解码参考图片用以与加强层压缩图像信号的解码图片进行预测。
每一缩放层利用相同比特流提供分辨率或品质的行级(row level)。基层解码器只可对基层压缩图像信号进行解码以产生一低逼真解码基层图像信号。加强层解码器可对该基层与加强层压缩图像信号进行解码以产生一加强逼真度的解码加强层图像信号。然而,基层解码器与加强层解码器皆可对相同的比特流进行解码。
在此,可利用电脑作为图像连接端(communication terminal)。目前已可取得产生高品质的彩色与单色数字图像的低成本摄像机。问题在于此数字图像信号的比特速率(bit rate)远高于一般个人电脑上任何连接端口(port)的最大输入比特速率。一般解决的方式是采用将摄像机连接于电脑上的专用接口并在图像撷取卡上进行传输工作。
美国专利公告第08/708388以及08/792683号则提出不同的解决方法。提出一含内建编码器、或是编码器适配器的摄像机作为一般图像摄像机。此含内建编码器、或是编码器适配器的摄像机具有相容通用串行总线USB标准的接口。请参考公开HCI,通用串行总线规范第一卷,1996年1月19日(Universal Serial Bus Specification v.1,0 Jan 19,1996。)图4所示为有两种不同图像附属结构的系统100。如图所示,系统100可作为实时且交互运动图片的连结应用、实时但非交互图片的连结应用、或是静止或运动图片撷取的应用等。如图所示,摄像机100外接至一电脑系统120的外壳156。列举的电脑系统120包括一CPU总线122、一系统总线124(如PCI总线)、以及一I/O扩充总线120(如ISA总线)。连接至CPU总线122的至少有一处理器128以及一北桥(north bridge)或存储器控制器130。北桥130将快取存储器132以及一主存储器134连接至CPU总线122上的处理器128。北桥130亦可使信息在系统总线124上的装置间、以及存储器132与134、或是处理器128间进行转换。绘图适配器(graphic adaptor)136同样连接至该系统总线124。显示屏幕138与绘图适配器138相连接。如图所示,一乙太网路适配器160可被连接至系统总线124。
与I/O扩充总线126相连接的是一磁盘存储器140、复数接口如IDE接口等、数据机158、以及输入装置如键盘144以及鼠标146。(此外,键盘144以及鼠标146亦可选择连接至通用串行总线USB的集线器150)。南桥148或是I/O桥,连接于系统总线124以及I/O扩充总线126之间。南桥148可使信息在I/O扩充总线128上的装置如数据机158,以及在USB 200上的复数装置或在系统总线124上的复数装置进行转换。如所举之例,根据本发明此南桥148还包含一USB集线器150。此USB集线器150有一个或多个串行端口152连接标准USB相容154,完全设置于电脑系统的外壳156内。如所举之例,USB集线器150、117、168、190以及缆线119形成一USB总线200。
摄像机110包括一成像装置111如阴极射线管、CMOS光传感器或CCD等接收投射的图像。成像装置111将图像转换成一运动图片图像信号。此图像信号则在ADC 113中被转换成数字形式。接着,输出自ADC 113的数字信号被一比特速率降低电路115所接收。此比特速率降低电路115可为一编程的信息帧(frame)速率/分辨率的降低电路。因此,比特速率降低电路的优点是其为一可编程的图像编码器。比特速率降低图像信号会输出至一USB集线器电路117。USB集线器电路117有一串行端口118,可将一图像信号经由缆线119输出成一串行比特流。插入连接器154(至电脑外壳156)的缆线119会将图像信号传送至南桥148中集线器电路150的串行端口152。
利用图像编码器115来降低比特速率可确定图像信号有让USB串行端口152接收的一足够低的频宽。各类压缩标准如MPEG-1、MPEG-2、H.263等可运用于比特速率降低电路115以编码该图像信号。
值得注意的是USB 200,特别是集线器150、117、168的串行端口118与154提供信号的双向转换。除将图像信号自集线器117转换至集线器150外,信息可利用对图像信号与信息转换信号的配置,从集线器150转换至117。此类信息转换可作为规划/调整(program/adjust)图像编码器115。例如,图像编码器115可根据数种压缩标准如H.261、H.262、H.263、MPEG-1、JPEG等加以规划以进行图像编码。再者,在任何所提出的标准中,不同的参数如量化步骤大小、间/内判定阀值、图片格式群、比特速率等可加以调整,且可选取不同编码选择如算数运算编码(arithmetic coding)。
当摄像机110接收图像时,麦克风162会接收可听声音并实时将其转换为音频信号。ADC 164则会将此音频信号数字化,且对音频信号进行编码。举例来说,一USB集线器电路168接收音频信号,并将其以比特串的形式自串行端口70传送至集线器117,将输出自摄像机110的图像信号以及人和其他在USB 200上传送的信息信号加以配置(intersperse)。
集线器150接收此比特速率降低图像(以及所举的压缩音频信号)。此被接收的信号会经由南桥148、系统总线124、以及北桥130被传送至存储器132或134。此处,处理器128会对图像且/或音频信号进行处理,亦即进行误差防护,必要时可采取编码等处理。此图像和/或音频信号会经由北桥130、系统总线124、乙太网路适配器160、以及乙太网路被输出(多工形式)至与图像会议系统100相同结构的远端图像会议系统(far end,remote videoconference system)100’(亦即有一电脑系统120’与摄像机100’)。此外,此压缩图像和/或压缩音频信号可选择经由北桥130、系统总线124、南桥148、I/O扩充总线126、数据机158、以及公用电话系统输出至远端图像会议系统100’。在另一实施例中,在集线器150所接收的压缩图像且/或压缩音频信号直接输出至乙太网络适配器160或是数据机158,其两者接连接至USB200。
来自远端图像会议系统100′的压缩图像和/或压缩音频信号可被如图4所示在近端区域图像会议系统100接收。压缩图像且/或压缩音频信号可在乙太网络适配器160或数据机158被接收。上述在乙太网络适配器接收的信号可经由系统总线124以及北桥130转换至主存储器132或是快取存储器134。如果压缩图像与压缩音频信号选择在数据机158被接收,则压缩图像与压缩音频信号经由I/O扩充总线126、南桥148、系统总线124以及北桥130被转换至存储器132或134。在此,处理器128会将压缩图像与压缩音频信号分离以进一步地进行如误差校正、解密、以及解码等处理。此外,一特殊用途的处理器(未示于图中)可连接至系统总线124用以至少对图像信号进行解码。在另一实施例中,用以执行图像解码的一特殊用途的处理器,其包括绘图适配器(graphic adapter)136,接收从数据机158或乙太网络适配器160对压缩图像信号进行直接转换。解码图像信号被转换至绘图适配器136。绘图适配器会将被解码图像信号输出至显示屏幕138上。此外,被解码音频信号亦皆由图像适配器136接收松出至显示屏幕138中的扬声器。
在另一数字图像撷取实施例中,由摄像机110′产生的数字或模拟图像信号输出至适配器180。适配器180有内建USB集线器190的图像编码器195。USB集线器190为USB 200的一部分。图像编码器195对经数字化的上述被接收图像模拟信号进行编码,并将压缩图像信号经由USB集线器190与USB200转换至电脑系统120。
藉此,系统110提供一种经济且有效的图像装置连结一个人电脑系统120。在典型的家庭或商务中,连接系统100或100′基本上是藉由数据机或是电话网路进行连接。近来利用原始声音电话连接的数据机的连通速率已可达56Kbits/sec,假设有一“干净”(clean)(亦即低噪声)电路设置于系统100与100′之间,且两系统皆有相对应数据机。通常其间仅可能存在一较低速的连通速率,如33600bits/sec。有时可利用单一ISDN连接方式传送图像会议,以比将每一连接速率提升至128Kbits/sec。
在上述如此低比特速率情况下,需要一种高阶压缩方法以产生一种实时、低等待(low latency)压缩运动图片图像信号。由此压缩图像信号解码所得的运动图片有大量可辨认的人为压缩加工。此种加工会衰减图像信号并降低其图像品质。
除表现(显示)在远端原始压缩图像信号的区域系统100解码图片上外,其亦可表现解码区域原始图像信号的图片。例如,显示监视器138的显示屏幕可分割成两个区域或显示两个视窗。第一视窗或区域显示由远端原始压缩图像信号经解码所得的图片。第二视窗或区域则显示由区域原始压缩图像信号经解码所得的图片(其中区域原始压缩图像信号亦会传送至远端系统110′中)。此处发生的问题是区域原始压缩图像信号所显示的图片是利用传送至远端系统100′的非常相似的区域压缩图像信号加以重建。如上所述,区域原始压缩图像信号所在的连通通道仅有有限频宽。结果区域原始压缩图像信号必须加以高倍率压缩才能衰减压缩加工的逼真度导入重建图片。当此压缩加工(由区域原始压缩图像信号重建而得的图片)必须容忍在远端系统110′的连接通道的限制频宽,然后在区域系统100中面对区域原始压缩图像信号并无此类频宽限制存在。所以,在区域系统100中由区域原始压缩图像信号所重建的区域显示图片其逼真度的衰减是不便且不必要的。
本发明的一目的之一是解决已知技术中的上述缺点。
本发明概述
利用本发明可达成几项目的。根据第一实施例,提供一种方法,将图像显示在一局域显示器(local monitor)以及远端显示器(remote monitor)上。一图像信号源产生一图像信号。利用一图像编码器将此图像信号进行编码处理以产生一第一压缩图像信号。利用此第一压缩图像信号,由图像信号源所产生的图像信号亦会被编码而产生一第二压缩图像信号。第一与第二压缩图像信号皆会被传送至一局域端。在局域端上,第一与第二压缩图像信号会被如一解码器解码而产生第一与第二解码图像信号。此图像信号的一第一解码版(decoded version)是结合经解码的第一与第二图像信号而产生。仅有第一压缩图像信号经由一连接通道传送至一远端端点,藉此远端端点只需从该第一压缩图像信号中回复此图像信号的一第二解码版。
局域端点与远端端点间的连接通道有足够的频宽传送第一压缩图像信号,但却不足以传送第二压缩图像信号。虽然如此,解码器与局域端点间的连通通道却拥有足够频宽传送第一与第二压缩图像信号。因此,局域端点可利用第一与第二压缩图像信号进行解码与重建较高品质版本的局域原始图片。另外一方面,已编码的第一压缩图像信号也可被简单传送至远端端点。
另一实施例则是提供一种方法对一图像信号进行编码,其中包括产生如一图像信号源中含连续原始图片的图像信号。图像信号利用如编码器进行编码以产生一第一压缩图像信号。当对原始图像信号编码以产生第一压缩图像信号时,原始图像信号其最后部分将会施行运动补偿临时编码。则如一解码器会对第一压缩图像信号进行空间与运动补偿临时解码以产生一解码图像信号。解码信号中每一图片的每一像素会从对应原始图像信号中一图片的空间与临时对准像素(aligned pixel)中被减除而形成一不同的图像信号。然后仅利用在不同图像信号的每一图片上的空间编码对不同图像信号进行编码。
此外,此类技术可用于产生第一与第二压缩图像信号,其中该压缩差值图像信号为未传送至远端端点的第二图像信号。另一实施例则提供显示一解码图像信号的方法。第一与第二压缩图像信号在一解码器被接收。解码器对第一压缩图像信号进行空间地且运动补偿临时地解码以产生一第一解码图像信号。第二压缩图像信号则被空间解码而产生一第二空间唯解码图像信号(spatially only decoded video signal)。一加法器将此第二空间唯解码图像信号的每一图片的每一像素加入该第一解码图像信号中相对应的临时且空间对准图片像素,用以重建出一重建图像信号。最后显示此重建图像信号。
附图简要说明
图1显示已知MPEG-2相容的编码器与解码器;
图2显示已知MPEG-2空间缩放编码器与解码器;
图3显示已知MPEG-2的SNR缩放编码器与解码器;
图4显示采用摄像机以及个人电脑作为局域端及远端端点的图像连通系统;
图5显示根据本发明所公开的图像连接端点;
图6所示为根据本发明所公开的图像编码器;以及
图7所示为根据本发明所公开的图像解码器。
本发明的详细说明
在本发明的说明中,假设图像信号经渐进扫描或去交错(progressivelyscanned or deinterlaced)处理。因此,本发明同样地可应用于有场图片的交错图像信号。此外,H.261(MPEG-1)、H.262(MPEG-2)或H.263的空间与运动补偿临时编码模型会应用于实例中。在此类模式中,空间编码包括一离散余弦转换,如正交转换、量化器、以及加密编码等。运动补偿临时编码是以一宏块或次图片(sub-picture)为基础加以实施,其中根据一运动向量产生临时与空间偏移(offset)的一预测宏块。因此此预测宏块并不会与其所预测的将被编码宏块形成临时对准,因为此预测宏块来自一张不同的图片,亦即其超前或落后于该张含将被编码宏块图片。再者,至少有一预测宏块也与其所预测的将被编码宏块未呈现空间对准。也就是说,此预测宏块不会在参考图片中像素上的相同列和/或行开始与结束,不会将其作为此将被编码宏块的将被编码图片中的开始与结束列和/或行。
图5所示为根据本发明所公开的一图像连接端点300。该端点300为一局域端点。此局域端点300经由一内部端点连接通道(inter-terminalcommunication channel)322连接至一模拟远端端点300′。此连接通道322可以施行于网路、局域网路、电话网路、地面或卫星广播系统(空间或宇宙)等。
局域端点300包括一图像信号源310,如成图装置(CCD、CMS光感测器、阴极射线管等)、数字储存介质等。图像信号源310输出局域原始图像信号至一编码器312。所列举的图像信号为被连续且实时地取得并加以编码,亦可为初步地或“离线”地施行非实时编码,储存在数字储存介质中并加以播放。图像信号被数字化且格式化成区块与宏块的形式。编码器312会对图像信号进行编码以产生一基层压缩图像信号LLV_1,以及一加强层压缩图像信号ELV_1。基层压缩图像信号LLV_1与加强层压缩图像信号ELV_1虽然呈现分离形式,却有利于进行多工处理结合成一单一信息流或是一单一信号。
信号LLV_1与ELV_1经由电脑系统324的外壳314传送。在所举实例中,信号LLV_1与ELV_1相结合的比特速率低至足可透过USB形式的连结加以传送。信号LLV_1与ELV_1在一解码器316被接收。解码器316对信号LLV_1进行空间与运动压缩临时解码,产生解码基层图像信号DLV_1。解码器316亦对信号ELV_1进行空间唯解码处理。解码器316将解码信号ELV_1的每一图片的每一像素加和相对应的解码信号DLV_1的一图片的空间与临时对准像素中,换言之,加入相同顺序图片中相同行与相同列之中。此处理将会产生解码加强层图像信号DVE_1。
在此同时,基层压缩图像信号LLV_1亦被去多工并转换至一收发器320,其可为一RF广播发送机、数据机、网络适配器等。收发器320将此基层压缩图像信号LLV-1经由连接通道322发送至远端端点300′。发送器320亦会由远端端点300′透过连接通道322接收一基层压缩图像信号LLV_r。基层压缩图像信号LLV_r源自于远端端点330′,便于描述远端端点300′上一图像或背景的解码运动图像的实时撷取与解码。
解码器316从发送器320接收基层压缩图像信号LLV_r。解码器316将基层压缩图像信号LLV_r解码而产生(低逼真度)解码基层压缩图像信号DVL_r。两区域解码图像信号,亦即DVE_1以及DLV_r,会被显现出来,也就是显现在显示器318上。解码图像信号DVE_1与DVL_r可被显示在显示器318的显示幕上不同区块。另一方面,解码图像信号DVE_1以及DVL_1则会显示在显示器318上显示幕的不同的视窗(动态地移动与调整)中。
局域端点300可利用图4中摄像机110或110″的硬件加以形成。在此例中,图像信号源310可利用成像装置111、摄像机110″或是硬盘140加以形成。解码器则可以比特速率降低器115或是处理器195形成。外壳314对应外壳156。发送器320可利用数据机158或乙太网路适配器160加以形成。显示屏幕318则对应显示屏幕138。解码器316可形成于处理器128与存储器132、134中,绘图适配器136或其他合适的电路连接至总线126、124或122。局域原始压缩图像信号LLV_1与ELV_1则经由USB 200输入解码器316。
图5未显示用以监测、编码、传送、解码、以及播放声音的硬件装置。然而,图4中相应的电路如麦克风162、压缩器166、USB 200、外部喇叭、或是显示屏幕138上的喇叭等则可加以利用。
如前所述,USB可支援信息传输速度达12M bits/sec。另外,连接通道322则拥有低于56k bits/sec的比特传送速率。此频宽必须加以分配以传送局域原始压缩图像信号LLV_1以及接收远端原始压缩图像信号LLV_r。再者,至少需分配部分频宽给声音讯号。所以,每一信号LLV_1与LLV_r每次传送所分配到的频宽不得超过15~20 bits/sec。此远小于USB最大频宽的1%。所以,连接于编码器312与解码器316间可供以更高的频宽。大量过多频宽可分配给局域原始加强层压缩图像信号ELV_1。如此,由局域原始加强层压缩图像信号ELV_1与局域原始压缩图像信号LLV_1再生所得的解码加强图像信号DVE_1可拥有极高的逼真度(取决于ELV_1分配到多少LLV_1未使用的过多USB频宽),相较高于由远端原始基层压缩图像压缩信号LLV_r(或是单独局域原始基层压缩图像信号LLV_1)所再生的解码基层图像信号DVL_r。
值得注意的是解码器316必须同步地解码三频信号,亦即LLV_1、ELV_1、以及LLV_r。因此尽量简化此类信号的解码处理可降低解码器316的处理需求量。根据本发明的另一实施例可实现简化信号ELV_1的编码与解码的处理。当一更复杂编码技术或架构可保留频宽以产生一加强层压缩图像信号ELV_1,可被解码而重建一特别逼真的解码加强图像信号DVE_1时,USB会拥有一超大量容量频宽分配给ELV_1。所以,与一简单的解码技术与架构相对应的简单的编码技术或架构会确认USB频宽损耗以利于节省编码与解码资源,并简化编码与解码架构。此外,本发明还节省存储器空间。
图6是根据本发明一实施例显示一编码器400。编码器400包括一基层空间编码器430、一基层临时编码器460、以及一加强层编码器470。空间编码器430包括一离散余弦转换器404、一量化器406、一量化器适配器420、一运行层可变长度编码器(未示于图中)以及一速率缓冲器(未示于图中)。临时编码器460包括一空间解码器440、一运动补偿器416、以及一减法器404。空间解码器440包括一去量化器408、一离散余弦转换器410、一加法器412、以及一图片存储器414。加强层编码器470包括一去量化器408、一反离散余弦转换器410、一加法器412、一减法器418、一离散余弦转换器404、一量化器406、一量化器适配器420、一运行层可变长度编码器(未示于图中)、以及一速率缓冲器(未示于图中)。此亦提供一区块格式器402,但假使图像信号以被格式化成区块或宏块的格式后,则此区块格式器402可加以省略。
基层压缩图像信号LLV_1的产生方式与在图1A所示的编码器10相似。在图6中用于基层压缩图像信号的信号流以细线表示。数字图像V输入至区块格式器402,将数字图像格式化成区块或是宏块。在被选取为将被编码框架中将被编码宏块输入至减法器404以及临时编码器460的运动补偿器416中。假使运动补偿器416发现用于将被编码宏块的一足够预测的宏块时,预测宏块的区块会被输入至减法器404。运动补偿器416利用提供作为输出的一移动向量MV确认此被选取预测宏块。假若对产生预测的将被编码宏块在一参考框架中,运动向量MV亦可被临时编码器460的解码器440作为重建参考框架之用。减法器404会将预测宏块的每一区块自将被编码宏块中相对应的区块减去。
一开关选取从减法器404输出经由输出B的预测误差宏块的区块,或是经由输出A的预测误差宏块的区块。开关始终会因I-帧选取将被编码宏块的区块,但假使未发现足够匹配预测宏块,或是决定强迫宏块只能进行空间编码(如内部截片更新(intra-slice fresh)的情况下),则选取其他框架中将被编码宏块的区块。
此被选取的区块在离散余弦转换器404接受离散余弦转换。所产生的系数会根据某种预定次序进行扫描(如锯齿式扫描或交替式扫描(zig-zag oralternate scan))。每一系数在量化器406中利用可调整的量化参数如一量化器矩阵或是更重要的量化器的步长或是“量化器规格因素(quantizer scalefactor)”进行量化。量化器规格因素可为基层利用量化器适配器420以参数记为“q_scale_1”作特殊的调整。
临时解码器460的解码器440则对应图像信号的基层的参考框架进行解码。此框架的经量化后的基层宏块系数在去量化器408中进行去量化处理(利用相同的去量化器参数,如同去量化器406的参数q_scale_1)。去量化系数则反相扫描回区块中。此类去量化系数的区块在反离散余弦转换器410中进行反离散余弦转换后产生像素信息的区块(宏块)。假若所产生的宏块先前仅被施以空间编码,一开关会选取输出自输出C的宏块。假若所产生的宏块皆被施以运动补偿临时编码以及空间编码(亦即为一预测误差宏块),则该正确适当、由运动向量MV与解码预测误差宏块确认的预测宏块会由图片存储器414取得。被取得预测宏块在加法器414中被加入解码预测误差宏块。所产生的总和经由输出D输出且被该开关选取。由该开关所选取的重建宏块则储存在图片存储器414中合适的位置,与其相关的空间位置(像素行与列)以及临时位置(相对应的框架)相对应。
基层量化系数的序列(sequence),记为Q_1、量化器规格参数q_scale_1、以及运动向量MV,如同其他分层标志(flag)与标号(identifier)(如序列、图片、宏块层的标头(header)与标志)依从某些标准如H.261(MPEG_1)、H.261(MPEG-2)、以及H.263等进行多工处理至一基层压缩图像信号LLV_1。
以下将详述利用加强编码器470产生加强层压缩图像信号ELV_1。去量化器408对参考帧与非参考帧两者的基层宏块系数信息Q_1进行去量化处理。反离散余弦转换器410将去量化的基层宏块系数信息作反相离散余弦转换后,重建像素信息的宏块以及像素信息的预测误差宏块。假若所产生的宏块先前仅被空间编码,则开关会经由输出C对其进行选取。另外一方面,假若宏块为先前接受运动补偿临时编码与空间编码的一预测误差宏块,则此预测误差宏块输出至加法器412。经由一相对应的运动向量MV的确认,正确合适的预测宏块会自字图片存储器414中被撷取出来。此预测宏块将会加入预测误差宏块中,且开关经由输出D将之选取。
在此值得注意的是去量化器408、反离散余弦转换器410、加法器412、以及图片存储器414为基层临时编码器460的解码器440的一部分。解码器440的功能与上述相同,但仅只于在参考帧上。所重建的参考帧储存于图片存储器414以当作产生预测之用。值得注意的是为了在基层中产生运动补偿临时预测以及为了产生加强层而编码的目的可以同时执行。也就是说在同一时间内重建基层的所有帧作为加强层编码器470与基层临时编码器460之用。然而,仅有参考帧储存于图片存储器414中,且真正地利用在基层临时编码器460的临时运动补偿预测格式上。
当开关选取每一宏块时(且可能储存于图片存储器中),此被选取的宏块被输出至减法器418。减法器418亦从输入图像信号V接收临时与空间对齐原始版本的相同宏块,并产生一差值宏块(difference macroblock)。若从另一种方式进行,假设输入图像信号V由原始宏块MB(x,y,t)所形成,其中x为此原始宏块MB(x,y,t)的水平方向像素位置,y为此原始宏块MB(x,y,t)的垂直方向像素位置,而t则被指定为含此原始宏块MB(x,y,t)的该原始图像信号的一特殊帧(或是图片)。将每一原始宏块MB(x,y,t)编码成一基层编码宏块MBLLV(x,y,t)。将此基层编码宏块MBLLV(x,y,t)解码而形成重建宏块MBDVL(x,y,t)。减法器418将此重建宏块MBDVL(x,y,t)自原始宏块MB(x,y,t)中减去以产生一差值宏块MBd(x,y,t),其中MBd(x,y,t)=MB(x,y,t)-MBDVL(x,y,t)。此流程用于原始输入图像信号的每一宏块,亦即对应每一x、y、以及t。此处值得注意的是减法器418所执行的减法是根据以一像素对像素(pixel-by-pixel)为基础的原始矩阵数学而进行的。所以,行、列、以及图片对MBDVL(x,y,t)的每一像素,以及其对应的MB(x,y,t)中像素是完全相同的。另外一种进行方式是对由基层压缩图像信号LLV_1重建的每一框架(图片)的每一宏块中每一像素进行空间及临时对准该原始图像信号V的像素。
此时所形成的差值宏块在离散余弦转换器404中进行离散余弦转换以产生差值宏块系数信息。所形成的差值宏块系数(扫描成一串行型态且)被量化器406量化。量化器规格参数“q_scale_e”,通常异于“q_scale_1”,会由量化器适配器420输出至量化器406用以控制量化处理。被量化差值宏块系数,记为Q_e,以及参数q_scale_e则形成至一加强层压缩图像信号ELV_1中。在形成如此一比特流时,可对此量化差值宏块系数进行加密编码(例如运行层可变长度编码)。另外加入的指示与标志资讯(例如图片、序列、宏块标头与标志等)可纳入此加强层比特流中。在此并未对此类外加指示与标志提供严谨定义的语法及语意(syntax and semantics)(与基层压缩图像信号不同的是并未根据熟知的习知技术标准如H.261、H.262、H.263等加以严格的定义),可将使用于基层压缩图像信号或是某些其他形式的加强层压缩图像信号(空间、SNR、临时、或是信息分割缩放)的相似语法与语意运用在加强层压缩图像信号ELV_1上。此类语法与语意在相关领域中属一般性技术,在本发明中不再赘述。
此处值得注意的是并未利用运动压缩与临时预测对加强层压缩图像信号ELV_1进行编码。但是运动压缩临时解码却作为解码该基层压缩图像信号LLV_1之用,其中被解码图像信号以临时与空间对准方式自原始图像信号V中被减除,形成一差值图像信号。接着此差值图像信号仅被施以空间编码。如此,解码器400并不需要对加强层压缩图像信号ELV_1进行解码,且在图片存储器414中不需配置存放由加强层压缩图像信号ELV-1所重建的帧(或图片)。
在建构此等基层与加强层压缩图像信号后,编码器440将两信号一起多工处理成可易于分离与去多工处理的型态。
解码器500可根据上述已知方式对远端原始(低逼真度)基层压缩图像信号LLV_r进行解码。此外,以下将描述解码器500对局域原始基层与加强层压缩图像信号LLV_1与ELV_1进行解码情形。
图7所示为更详细地描述本发明中的解码器50。一去多工器502对包含基层压缩图像信号以及加强层压缩图像信号的一比特流进行去多工处理。去多工器502可产生一基层压缩图像信号LLV_1以输出至图5中的发送器502。此外,去加工器502换将基层与加强层压缩图像信号LLV_1与ELV_1、运动向量MV、以及基层与加强层压缩图像信号的量化器规格参数q_scale_1与q_scale_e的加密编码量化系数信号分别分离出来。
基层与加强层图像信号的加密编码量化系数输入至一加密(运行层且可变长度)解码器504中。加密解码器504产生加强层压缩图像信号的量化差值宏块系数Q_e,以及基层图像信号的量化宏块与预测误差宏块系数Q_1。
量化差值宏块系数Q_e以及量化宏块以及预测误差系数输入至一去量化器506。量化器规格参数q_scale_1与q_scale_e也输入至去量化器506。利用量化器规格参数q_scale_e,去量化器506可将此量化差值宏块系数Q_e施以去量化处理而产生去量化差值宏块系数。利用量化器规格参数q_scale_1,去量化器506可将此量化宏块及预测误差宏块系数Q_1施以去量化处理而产生去量化宏块及预测误差宏块的系数。信号Q_e与Q_1的去量化系数根据某预定次序被扫描出来而产生差值宏块、宏块、及预测误差宏块的去量化区块。接着,此去量化区块经由反离散余弦转换器508进行反离散余弦转换处理后,产生空间解码差值宏块、宏块、以及预测误差宏块。
以下将详述形成解码基层图像信号的方法。每一空间解码宏块经由输出C通过开关输出以作为一重建宏块。每一空间解码预测误差宏块输出至加法器510。一或多个运动向量MV伴随空间预测误差宏块输出至一图片存储器512以对应地撷取该预测宏块。被撷取预测宏块亦输出至加法器510。加法器510将此预测误差宏块加入被撷取预测宏块而形成一重建宏块。重建宏块经由输出D通过开关输出。一参考帧的每一重建宏块则储存于图片存储器512中。
每一空间解码差值宏块从反离散余弦转换器508输出至加法器514。加法器514将每一空间解码差值宏块加入其相对应的重建自基层压缩图像信号的空间与临时对准宏块,且经由开关输出。所产生的总和即为解码加强层图像信号DVE_1的加强重建宏块。此加强重建宏块可被临时地聚集于一显示缓冲区(未示于图中)直到解码加强层图像信号DVE_1中一个完整帧被解码。接着即可将信号DVE_1的被解码帧加以显示。
表一所示为模拟重建自一基层压缩图像信号的一图像信号中,被选取帧的色度与光度的信号对噪声比结果。表一亦显示出传送此类图像信号、帧型式、以及宏块数目(仅被空间解码者记为“Intra MB”,被空间与临时解码者记为“Inter MB”)的对应帧其每一帧所需的比特率。在P(或B)型帧中量化系数并不必提供给每一宏块。再者,假若预测误差宏块仅包含零值系数,则此宏块对应的压缩图像信号将不包含系数信息。相反地,解码宏块会被重建为预测宏块。
表一
帧 | 形式 | SNR-Y | SNR-Cb | SNR-Cr | Intra MB | Inter MB | Bps |
0 | I | 34.52 | 42.33 | 41.39 | 99 | 0 | 13944 |
3 | P | 34.18 | 42.67 | 41.62 | 62 | 1232 | |
6 | P | 34.20 | 42.78 | 41.60 | 55 | 1224 | |
12 | P | 33.99 | 43.07 | 41.47 | 67 | 2032 | |
24 | P | 34.10 | 42.83 | 41.54 | 63 | 1464 | |
30 | P | 34.23 | 42.60 | 41.78 | 80 | 1920 | |
33 | P | 34.28 | 42.33 | 41.62 | 78 | 1984 | |
36 | P | 34.34 | 41.98 | 41.61 | 75 | 1872 | |
42 | P | 33.82 | 41.44 | 41.43 | 1 | 81 | 4352 |
54 | P | 35.39 | 41.32 | 41.39 | 2 | 70 | 4568 |
60 | P | 34.88 | 40.56 | 40.14 | 3 | 62 | 5544 |
63 | P | 34.51 | 40.18 | 39.83 | 5 | 63 | 5768 |
66 | P | 33.97 | 40.60 | 39.57 | 72 | 5464 | |
72 | P | 34.11 | 40.78 | 39.62 | 1 | 66 | 3784 |
84 | P | 33.56 | 40.45 | 39.69 | 76 | 4608 | |
90 | P | 33.51 | 40.13 | 40.07 | 72 | 3544 | |
93 | P | 33.61 | 40.14 | 39.89 | 74 | 3528 | |
96 | P | 34.63 | 40.32 | 39.93 | 71 | 2928 | |
102 | P | 34.82 | 40.34 | 40.20 | 54 | 1896 | |
114 | P | 34.15 | 40.53 | 40.65 | 59 | 1344 | |
120 | P | 34.46 | 40.52 | 40.21 | 69 | 1472 | |
123 | P | 34.30 | 40.58 | 40.21 | 67 | 1560 | |
126 | P | 34.30 | 40.53 | 40.15 | 66 | 1648 | |
132 | P | 34.31 | 40.54 | 39.99 | 69 | 1944 | |
144 | P | 34.37 | 40.55 | 40.21 | 64 | 1648 |
表二则显示根据本发明利用加强层压缩图像信号建构的一图像信号的相同模拟的结果。
表二
帧 | 形式 | SNR-Y | SNR-Cb | SNR-Cr | Intra MB | Inter MB | Bps |
0 | P | 49.51 | 50.84 | 50.86 | 0 | 99 | 81608 |
3 | P | 49.39 | 50.68 | 50.61 | 0 | 99 | 82600 |
6 | P | 49.48 | 50.60 | 50.55 | 0 | 99 | 82528 |
12 | P | 49.40 | 50.80 | 50.67 | 0 | 99 | 81640 |
24 | P | 49.51 | 50.63 | 50.52 | 0 | 99 | 83328 |
30 | P | 49.46 | 50.73 | 50.78 | 0 | 99 | 80416 |
33 | P | 49.41 | 50.70 | 50.73 | 0 | 99 | 79200 |
36 | P | 49.47 | 50.81 | 50.75 | 0 | 99 | 78784 |
42 | P | 49.33 | 50.66 | 50.64 | 0 | 99 | 78952 |
54 | P | 49.65 | 51.17 | 51.15 | 0 | 99 | 58928 |
60 | P | 49.64 | 51.04 | 51.04 | 0 | 99 | 65824 |
63 | P | 49.58 | 51.02 | 50.73 | 0 | 99 | 69912 |
66 | P | 49.58 | 50.80 | 50.60 | 0 | 99 | 77160 |
72 | P | 49.51 | 50.81 | 50.68 | 0 | 99 | 77944 |
84 | P | 49.51 | 40.57 | 50.46 | 0 | 99 | 83024 |
90 | P | 49.48 | 50.54 | 50.59 | 0 | 99 | 84368 |
93 | P | 49.48 | 50.59 | 50.39 | 0 | 99 | 83984 |
96 | P | 49.57 | 50.71 | 50.59 | 0 | 99 | 83728 |
102 | P | 49.53 | 50.79 | 50.42 | 0 | 99 | 81744 |
114 | P | 49.43 | 50.76 | 50.61 | 0 | 99 | 79136 |
120 | P | 49.48 | 50.77 | 50.82 | 0 | 99 | 77960 |
123 | P | 49.44 | 50.69 | 50.67 | 0 | 99 | 78016 |
126 | P | 49.45 | 50.74 | 50.59 | 0 | 99 | 79836 |
132 | P | 49.48 | 50.93 | 50.68 | 0 | 99 | 77744 |
144 | P | 49.46 | 50.85 | 50.74 | 0 | 99 | 77960 |
由此可知,在解码加强层图像信号DVE中亮度信号对噪声比大约为15dB,大于解码基层图像信号DVL中的比率。同样地,在解码加强层图像信号DVE中色度信号对噪声比大约为8dB,大于解码基层图像信号DVL中的比率。图像频宽的需求从单有基层压缩图像信号LLV_1的30.98 kbps,增加到包含加强层与基层压缩图像信号ELV_1与LLV_1的798 kbps。所增加的频宽需求大于目前利用数据机技术在一般电话系数以拨号方式连接所能提供的频宽。然而,所增加的频宽需求却可容许在最大频宽为12 Mbps的USB中取得。
上面的描述只是对本发明的一种说明,本领域的普通技术人员可在不脱离后续的权利要求的实质和范围的情况下,予以变化而产生各种实施方案。
Claims (30)
1.一种于一局域显示器与一远端显示器显示图像的方法,包括下列步骤:
(a)提供一图像信号;
(b)编码该图像信号以产生一第一压缩图像信号;
(c)利用该第一压缩图像信号编码该图像信号以产生一第二压缩图像信号;
(d)传送该第一与第二压缩图像信号至一局域端点;
(e)在该局域端点解码该第一与第二压缩图像信号以产生第一与第二解码图像信号,由该第一与第二解码图像信号的组合来重建该图像信号的一第一解码版本;以及
(f)仅该第一压缩图像信号经由一连通通道被传送至一远端端点,藉此该远端端点可仅由该第一压缩图像信号重建该图像信号的一第二解码版本。
2.如权利要求1所述的方法,其中步骤(c)还包括下列步骤:
(c1)解码该第一压缩图像信号以产生该第一解码图像信号;
(c2)将该第一解码图像信号自该图像信号中减去以产生一差值图像信号;以及
(c3)仅对该差值图像信号进行空间编码以产生该第二图像信号。
3.如权利要求2所述的方法,其中步骤(c2)中该第一解码图像信号的每一像素自该图像信号的一空间与临时对准像素中减去。
4.如权利要求2所述的方法,其中步骤(c1)还包括下列步骤:
(c1a)对该第一压缩图像信号的每一宏块与每一预测误差宏块进行空间解码;以及
(c1b)利用对一预测宏块的确认与随该预测误差宏块的至少一运动向量对每一空间解码预测误差宏块进行临时解码,且将该确认预测宏块加入该空间解码预测误差宏块中。
5.如权利要求2所述的方法,其中步骤(c1)包括利用与该第一压缩图像信号有关的第一量化规格参数对该图像信号进行量化处理,其中步骤(c3)包括利用与该第二压缩图像信号有关的第二量化规格参数对该差值图像进行量化处理。
6.如权利要求1所述的方法,还包括下列步骤:
(c1)在步骤(d)之前对该第一与第二压缩图像信号一起进行多工处理;以及
(d1)在步骤(e)之前对该局域端点上该第一与第二图像信号进行去多工处理。
7.如权利要求1所述的方法,还包括下列步骤:
(f)于该局域端点接收来自该远端端点的一第三压缩图像信号;
(g)解码该第三压缩图像信号以取得一解码第三图像信号;以及
(h)在相同显示屏幕上同步地显示该解码第三图像信号与该图像信号的该第一解码版本。
8.如权利要求7所述的方法,其中该图像信号的该第一解码版本显示于该显示屏幕的一第一部分,并描绘局域原始图像,且其中该解码第三图像信号显示于该显示屏幕的一第二部分,并描绘远端原始图像。
9.如权利要求7所述的方法,还包括下列步骤:
(i)在该局域端点自该远端端点接收一音频信号;
(j)解码该音频信号取得一解码音频信号;以及
(k)在该局域端点播放该音频信号。
10.一种于一局域显示器与一远端显示器显示图像的装置,包括:
(a)一图像信号源,用以提供一图像信号;
(b)一编码器,连接至该图像信号源,该编码器对该图像信号进行编码以产生一第一压缩图像信号,且利用该第一压缩图像信号对该图像信号进行编码以产生一第二压缩图像信号;
(c)一解码器,位于一局域端点且连接至该编码器,该解码器对该第一压缩图像信号进行解码以产生一第一解码图像信号,且解码该第二压缩图像信号以产生一第二解码图像信号,并组合该第一与第二解码图像信号以产生该图像信号的一第一解码版本;以及
(d)一发送器,用以仅传送该第一压缩图像信号至一远端端点,藉此该远端端点可仅由该第一图像信号重建该图像信号的一第二解码版本。
11.如权利要求10所述的装置,其中该编码器还包括:
一第二解码器,用以对该第一压缩图像信号进行解码以产生该第一解码图像信号;
一减法器,连接至该图像信号源与该第二解码器,用以将该第一解码图像信号自该图像信号中减去以产生一差值图像信号;以及
一空间编码器,连接至该减法器,仅对该差值图像信号进行空间编码以产生该第二图像信号。
12.如权利要求11所述的装置,其中利用该减法器将该第一解码图像信号的每一像素自该图像信号的一空间与临时对准像素中减去。
13.如权利要求11所述的装置,其中该第二解码器还包括:
一空间解码器,用以对该压缩图像信号的每一宏块以及每一预测误差宏块进行空间解码;
一图片存储器,利用伴随该预测误差宏块的至少一运动向量,对每一空间解码预测误差宏块确认一预测宏块;以及
一加法器,将该被确认的预测宏块加入该空间解码预测误差宏块;
其中,该图片存储器与该加法器对该第一压缩图像信号的每一预测误差宏块进行临时解码。
14.如权利要求11所述的装置,其中还包括一量化器,利用与该第一压缩图像信号有关的第一量化规格参数对该图像信号进行量化处理,且利用与该第二压缩图像信号有关的第二量化规格参数对该差值图像信号进行量化处理。
15.如权利要求10所述的装置,其中该编码器对该第一与第二压缩图像进行多工处理,其中该解码器在该局域端点对该第一与第二图像信号进行去多工处理。
16.如权利要求10所述的装置,还包括:
一接收器,用以在该本发端点接收来自远端端点的一第三压缩图像信号;以及
一显示屏幕,位于该局域端点;
其中,该解码器对该第三图像信号进行解码以取得一被解码第三图像信号,且该显示屏幕同时地显示该解码第三图像信号以及该图像信号的该第一解码版本。
17.如权利要求16所述的装置,其中该图像信号的该第一解码版本显示于该显示屏幕上的一第一部分,并描绘区域原始图像,且其中该解码第三图像信号显示于该显示屏幕的一第二部分,并描绘远端原始图像。
18.如权利要求10所述的装置,还包括:
一接收器,在该区域端点自该远端端点接收一音频信号;
一音频信号解码器,用以解码该音频信号以取得一解码音频信号;以及
一扬声器,用以在该区域端点播放该音频信号。
19.一种编码一图像信号的方法,其步骤包括:
(a)提供含一原始图片序列的一图像信号;
(b)对该图像信号进行编码以产生一第一压缩图像信号,该编码步骤包括至少对该图像信号的一部分进行选择性地临时运动补偿,并对该图像信号进行空间编码;
(c)对该第一压缩图像信号空间且临时运动补偿地进行解码以产生含被解码、可显示图片的一解码图像信号;
(d)将该解码图像信号的每一图片的每一像素从该图像信号的一原始图片中一相对应的空间与临时对准像素中减去,形成一差值图像信号;以及
(e)利用对该差值图像的每一图片仅以空间编码来对该差值图像信号进行编码以产生一第二压缩图像信号。
20.如权利要求19所述的方法,其中该步骤(b)还包括利用与该第一压缩图像信号有关的第一量化规格参数对该图像信号进行量化,以及该步骤(e)利用与该第二压缩图像信号有关的第二量化规格参数对该差值图像信号进行量化。
21.一种用以编码一图像信号的装置,包括:
一图像信号源,提供包含一序列原始图片的一图像信号;
一临时编码器,用以对该图像信号进行临时运动补偿编码;
一空间编码器,用以对该图像信号进行编码,与该临时编码器联合产生一第一压缩图像信号;
一解码器,用以对该第一压缩图像信号进行空间与运动补偿临时解码以产生一解码图像信号;
一减法器,用以将该解码图像信号的每一图片的每一像素从该图像信号的一原始图片中一相对应的空间与临时对准像素中减去,形成一差值图像信号;
其中,该空间编码器亦对该差值图像进行编码,并联合该减法器利用仅对该差值图像信号进行空间压缩的方法产生一第二压缩图像信号。
22.如权利要求21所述的装置,其中该空间编码器还包括一量化器,在产生该第一压缩图像信号时利用与该第一压缩图像信号有关的第一量化器规格参数对量化系数进行量化,且在产生该第二压缩图像信号时利用与该第二压缩图像信号有关的第二量化器规格参数对量化系数进行量化。
23.一种显示一重建图像信号的方法,其步骤包括:
(a)接收一第一与第二压缩图像信号;
(b)对该第一压缩图像信号施以空间与临时运动补偿解码以产生一第一解码图像信号;
(c)对该第二压缩图像信号施以空间解码以产生一第二仅空间解码的图像信号;
(d)将该第二空间仅解码图像信号的每一图片中每一像素加入该第一解码图像信号中相对应的临时与空间对准图片像素,以重建一第三解码图像信号;以及
(e)显示该第三解码图像信号。
24.如权利要求23所述的方法,其中该步骤(b)还包括利用与该第一压缩图像信号有关的第一量化规格参数对该图像信号进行去量化,以及该步骤(c)利用与该第二压缩图像信号有关的第二量化规格参数对该差值图像信号进行去量化。
25.如权利要求23所述的方法,其中,存储该第一讥骂解码图像信号的所选参考图片,以预测该第一压缩图像信号的其他图片,但不存储该第二解码图像信号的图片来预测该第二压缩图像信号的图片。
26.一种装置用以显示一重建图像信号,包括:
一解码器,用以对一第一压缩图像信号进行进行空间与临时运动补偿解码,产生一第一解压缩图像信号,且对一第二压缩图像信号进行空间解码以产生一第二仅空间解压缩图像信号;
一加法器,用以将该第二仅空间解压缩图像信号的每一图片中每一像素加入第一解压缩图像信号中相对应的临时与空间对准图片像素,以重建一解码图像信号;以及
一显示屏幕,用以显示该解码图像信号。
27.如权利要求25所述的装置,其中该解码器还包括一去量化器,利用与该第一压缩图像信号有关的第一量化规格参数对该第一压缩图像信号进行去量化处理,以及利用与该第二压缩图像信号有关的第二量化规格参数对该第二压缩图像信号进行去量化处理。
28.如权利要求26所述的装置,进一步包括一存储器,用于存储该第一解码图像信号的所选参考图片,用以预测该第一压缩图像信号的其他图片,并存储和重建该第二解码图像信号的任何图片,以预测该第二压缩图像信号的任何其他图片。
29.一种产生一比特流的方法,其步骤包括:
(a)提供含一原始图片序列的一图像信号;
(b)对该图像信号进行编码以产生一第一压缩图像信号,该编码步骤包括至少对该图像信号的一部分进行选择性临时运动补偿,并对该图像信号进行空间编码;
(c)对该第一压缩图像信号空间且临时运动补偿地进行解码以产生含被解码、可显示图片的一解码图像信号;
(d)将该解码图像信号的每一图片的每一像素从该图像信号由该图像信号的一原始图片中一相对应的空间与临时对准像素中减去,形成一差值图像信号;以及
(e)利用对该差值图像的每一图片施以仅空间压缩,对该差值图像信号进行编码,以产生一第二压缩图像信号。
30.一种产生一解码图像信号的方法,包括下列步骤:
(a)接收一第一与第二压缩图像信号;
(b)对该第一压缩图像信号施以空间与临时运动补偿解码,以产生一第一解压缩图像信号;
(c)对该第二压缩图像信号施以空间解码,以产生一第二仅空间解压缩的图像信号;以及
(d)将该第二仅空间解压缩图像信号的每一图片中每一像素加入该第一解压缩图像信号中相对应的临时与空间对准图片像素,以重建一解码图像信号。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/026,865 US5995150A (en) | 1998-02-20 | 1998-02-20 | Dual compressed video bitstream camera for universal serial bus connection |
US09/026,865 | 1998-02-20 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1266589A true CN1266589A (zh) | 2000-09-13 |
CN1140133C CN1140133C (zh) | 2004-02-25 |
Family
ID=21834231
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB998005975A Expired - Fee Related CN1140133C (zh) | 1998-02-20 | 1999-02-17 | 通用串行总线连接的双重压缩图像比特流摄像机的装置与方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US5995150A (zh) |
EP (1) | EP0978195A4 (zh) |
JP (1) | JP2001525150A (zh) |
KR (1) | KR20010020147A (zh) |
CN (1) | CN1140133C (zh) |
AU (1) | AU2684399A (zh) |
CA (1) | CA2287388A1 (zh) |
WO (1) | WO1999043147A2 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102845060A (zh) * | 2010-02-19 | 2012-12-26 | 斯凯普公司 | 用于视频的数据压缩 |
US9313526B2 (en) | 2010-02-19 | 2016-04-12 | Skype | Data compression for video |
US9609342B2 (en) | 2010-02-19 | 2017-03-28 | Skype | Compression for frames of a video signal using selected candidate blocks |
US9819358B2 (en) | 2010-02-19 | 2017-11-14 | Skype | Entropy encoding based on observed frequency |
Families Citing this family (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0866624B1 (en) * | 1997-03-17 | 2006-08-02 | Sony Corporation | Picture signal encoding apparatus and picture signal decoding apparatus |
US6351563B1 (en) * | 1997-07-09 | 2002-02-26 | Hyundai Electronics Ind. Co., Ltd. | Apparatus and method for coding/decoding scalable shape binary image using mode of lower and current layers |
EP1018287B1 (de) * | 1997-09-22 | 2002-01-30 | Siemens Aktiengesellschaft | Kommunikationssystem |
US6295379B1 (en) * | 1997-09-29 | 2001-09-25 | Intel Corporation | DPCM image compression with plural quantization table levels |
US6411651B1 (en) * | 1998-06-26 | 2002-06-25 | Compaq Information Technologies Group, L.P. | Method and system for distributed video compression in personal computer architecture |
US6633934B1 (en) * | 1998-07-08 | 2003-10-14 | Clearcube Technology, Inc. | Computer system having reduced cabling requirements |
US6363345B1 (en) * | 1999-02-18 | 2002-03-26 | Andrea Electronics Corporation | System, method and apparatus for cancelling noise |
WO2000049602A1 (en) * | 1999-02-18 | 2000-08-24 | Andrea Electronics Corporation | System, method and apparatus for cancelling noise |
US6624797B1 (en) * | 1999-03-29 | 2003-09-23 | Ati International Srl | Method and apparatus for providing video and control to a monitor |
AUPP990199A0 (en) * | 1999-04-22 | 1999-05-13 | Griffith University | Wireless video surveillance system |
US7245663B2 (en) * | 1999-07-06 | 2007-07-17 | Koninklijke Philips Electronis N.V. | Method and apparatus for improved efficiency in transmission of fine granular scalable selective enhanced images |
US6493387B1 (en) * | 2000-04-10 | 2002-12-10 | Samsung Electronics Co., Ltd. | Moving picture coding/decoding method and apparatus having spatially scalable architecture and signal-to-noise ratio scalable architecture together |
DE10022262A1 (de) * | 2000-05-08 | 2001-12-06 | Siemens Ag | Verfahren und eine Anordnung zur Codierung bzw. Decodierung einer Folge von Bildern |
US7082221B1 (en) * | 2000-09-29 | 2006-07-25 | Intel Corporation | Bandwidth determination for multiple layer digital video |
US6842484B2 (en) * | 2001-07-10 | 2005-01-11 | Motorola, Inc. | Method and apparatus for random forced intra-refresh in digital image and video coding |
CN1316335C (zh) | 2001-07-12 | 2007-05-16 | 索尼公司 | 信息输入指示方法及信息输入指示装置 |
US7042942B2 (en) * | 2001-12-21 | 2006-05-09 | Intel Corporation | Zigzag in-order for image/video encoder and decoder |
CN1689305A (zh) * | 2002-10-18 | 2005-10-26 | 皇家飞利浦电子股份有限公司 | 存储器 |
US10075750B2 (en) * | 2002-12-10 | 2018-09-11 | Sony Interactive Entertainment America Llc | Porting locally processed media data with low latency to a remote client device via various wireless links |
KR20060105408A (ko) * | 2005-04-01 | 2006-10-11 | 엘지전자 주식회사 | 영상 신호의 스케일러블 인코딩 및 디코딩 방법 |
US8761252B2 (en) * | 2003-03-27 | 2014-06-24 | Lg Electronics Inc. | Method and apparatus for scalably encoding and decoding video signal |
KR20060109247A (ko) * | 2005-04-13 | 2006-10-19 | 엘지전자 주식회사 | 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치 |
EP1621021A1 (en) * | 2003-04-29 | 2006-02-01 | Koninklijke Philips Electronics N.V. | Image processing apparatus |
EP1661405B1 (en) * | 2003-08-29 | 2009-07-01 | Koninklijke Philips Electronics N.V. | System and method for encoding and decoding enhancement layer data using descriptive model parameters |
US7218755B2 (en) * | 2003-09-04 | 2007-05-15 | Mitsubishi Electric Research Laboratories, Inc. | Detecting temporally related components of multi-modal signals |
KR100965881B1 (ko) * | 2003-10-10 | 2010-06-24 | 삼성전자주식회사 | 비디오 데이터 인코딩 시스템 및 디코딩 시스템 |
CA2593783A1 (en) * | 2005-01-11 | 2006-07-20 | Qualcomm Incorporated | Methods and apparatus for transmitting layered and non-layered data via layered modulation |
EP1836858A1 (en) * | 2005-01-14 | 2007-09-26 | Sungkyunkwan University | Methods of and apparatuses for adaptive entropy encoding and adaptive entropy decoding for scalable video encoding |
US8660180B2 (en) * | 2005-04-01 | 2014-02-25 | Lg Electronics Inc. | Method and apparatus for scalably encoding and decoding video signal |
US8755434B2 (en) * | 2005-07-22 | 2014-06-17 | Lg Electronics Inc. | Method and apparatus for scalably encoding and decoding video signal |
US7956930B2 (en) | 2006-01-06 | 2011-06-07 | Microsoft Corporation | Resampling and picture resizing operations for multi-resolution video coding and decoding |
EP1950968A1 (en) * | 2007-01-23 | 2008-07-30 | Won-Gue Choi | System and method for digital type wireless monitoring |
CN101669361B (zh) * | 2007-02-16 | 2013-09-25 | 马维尔国际贸易有限公司 | 用于改善低分辨率和低帧速率视频的方法和系统 |
RU2009135396A (ru) * | 2007-04-16 | 2011-04-10 | Кабусики Кайся Тосиба (Jp) | Способ и устройство кодирования и декодирования видеосигнала |
KR100948260B1 (ko) * | 2007-12-18 | 2010-03-18 | 한국전자통신연구원 | 계층적 부호화를 이용한 다중대역 방송 전송/수신 장치 및그 방법 |
US8711948B2 (en) * | 2008-03-21 | 2014-04-29 | Microsoft Corporation | Motion-compensated prediction of inter-layer residuals |
US9571856B2 (en) | 2008-08-25 | 2017-02-14 | Microsoft Technology Licensing, Llc | Conversion operations in scalable video encoding and decoding |
TW201026056A (en) * | 2008-12-16 | 2010-07-01 | Quanta Comp Inc | Image capturing device and image delivery method |
KR101474756B1 (ko) | 2009-08-13 | 2014-12-19 | 삼성전자주식회사 | 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치 |
US20130251025A1 (en) * | 2012-03-26 | 2013-09-26 | American Megatrends, Inc. | Memory bandwidth reduction during video capture |
GB2509954B (en) * | 2013-01-18 | 2016-03-23 | Canon Kk | Method of displaying a region of interest in a video stream |
US10225536B2 (en) * | 2016-07-01 | 2019-03-05 | Intel Corporation | Dynamic fidelity updates for encoded displays |
US10219002B2 (en) | 2016-07-01 | 2019-02-26 | Intel Corporation | Dynamic fidelity updates for encoded displays |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB9022326D0 (en) * | 1990-10-15 | 1990-11-28 | British Telecomm | Signal coding |
JPH05183888A (ja) * | 1991-12-27 | 1993-07-23 | Mitsubishi Electric Corp | 情報源符号化装置 |
CA2126467A1 (en) * | 1993-07-13 | 1995-01-14 | Barin Geoffry Haskell | Scalable encoding and decoding of high-resolution progressive video |
US5621660A (en) * | 1995-04-18 | 1997-04-15 | Sun Microsystems, Inc. | Software-based encoder for a software-implemented end-to-end scalable video delivery system |
DE19531004C2 (de) * | 1995-08-23 | 1997-09-04 | Ibm | Verfahren und Vorrichtung zur wahrnehmungsoptimierten Übertragung von Video- und Audio-Daten |
JP3788823B2 (ja) * | 1995-10-27 | 2006-06-21 | 株式会社東芝 | 動画像符号化装置および動画像復号化装置 |
-
1998
- 1998-02-20 US US09/026,865 patent/US5995150A/en not_active Expired - Lifetime
-
1999
- 1999-02-17 JP JP54268899A patent/JP2001525150A/ja active Pending
- 1999-02-17 AU AU26843/99A patent/AU2684399A/en not_active Abandoned
- 1999-02-17 KR KR1019997009704A patent/KR20010020147A/ko not_active Application Discontinuation
- 1999-02-17 CA CA002287388A patent/CA2287388A1/en not_active Abandoned
- 1999-02-17 CN CNB998005975A patent/CN1140133C/zh not_active Expired - Fee Related
- 1999-02-17 EP EP99907104A patent/EP0978195A4/en not_active Withdrawn
- 1999-02-17 WO PCT/US1999/003417 patent/WO1999043147A2/en not_active Application Discontinuation
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102845060A (zh) * | 2010-02-19 | 2012-12-26 | 斯凯普公司 | 用于视频的数据压缩 |
US9078009B2 (en) | 2010-02-19 | 2015-07-07 | Skype | Data compression for video utilizing non-translational motion information |
US9313526B2 (en) | 2010-02-19 | 2016-04-12 | Skype | Data compression for video |
CN102845060B (zh) * | 2010-02-19 | 2016-08-10 | 斯凯普公司 | 用于视频的数据压缩 |
US9609342B2 (en) | 2010-02-19 | 2017-03-28 | Skype | Compression for frames of a video signal using selected candidate blocks |
US9819358B2 (en) | 2010-02-19 | 2017-11-14 | Skype | Entropy encoding based on observed frequency |
Also Published As
Publication number | Publication date |
---|---|
KR20010020147A (ko) | 2001-03-15 |
WO1999043147A3 (en) | 2000-02-10 |
EP0978195A1 (en) | 2000-02-09 |
WO1999043147A2 (en) | 1999-08-26 |
CA2287388A1 (en) | 1999-08-26 |
AU2684399A (en) | 1999-09-06 |
EP0978195A4 (en) | 2001-08-22 |
CN1140133C (zh) | 2004-02-25 |
US5995150A (en) | 1999-11-30 |
JP2001525150A (ja) | 2001-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1140133C (zh) | 通用串行总线连接的双重压缩图像比特流摄像机的装置与方法 | |
CN1166200C (zh) | 混合式时间-信杂比精细颗粒可分级视频编码 | |
JP5619790B2 (ja) | 二層符号化及び単層復号化による階層的ビデオ符号化 | |
US7701365B2 (en) | Encoding device and method, composite device and method, and transmission system | |
CN1179574C (zh) | 在编码数据流中修改数据的方法和设备 | |
US20030023982A1 (en) | Scalable video encoding/storage/distribution/decoding for symmetrical multiple video processors | |
US20040170330A1 (en) | Video coding reconstruction apparatus and methods | |
EP1631088A1 (en) | Apparatus for transmitting video signal and method thereof | |
US20040252900A1 (en) | Spatial scalable compression | |
EP1575302A2 (en) | Intra block walk around refresh for H.264 | |
JP2008533850A5 (zh) | ||
CN1578456A (zh) | 移动通信系统的数字视频信号处理装置及方法 | |
CN1615025A (zh) | 可执行区块比对移动补偿与全域移动补偿的装置与方法 | |
CN1812577A (zh) | 译码数字影像位流所含画面的方法及其数字影像译码系统 | |
US8243798B2 (en) | Methods and apparatus for scalable video bitstreams | |
EP1227684A2 (en) | Encoding of video signals | |
KR20020006429A (ko) | Mpeg 및 다른 데이터 포맷에 적합한 순차적인 비디오시퀀스를 송신하기 위한 장치 및 방법 | |
JPH09182087A (ja) | ディジタルビデオ信号を符号化する方法及び装置 | |
US20060120459A1 (en) | Method for coding vector refinement information required to use motion vectors in base layer pictures when encoding video signal and method for decoding video data using such coded vector refinement information | |
US20060133497A1 (en) | Method and apparatus for encoding/decoding video signal using motion vectors of pictures at different temporal decomposition level | |
JP2009182776A (ja) | 符号化装置、復号化装置、および、動画像符号化方法、動画像復号化方法 | |
US8873619B1 (en) | Codec encoder and decoder for video information | |
Taubman et al. | High throughput jpeg 2000 (htj2k): New algorithms and opportunities | |
KR20040046890A (ko) | 동영상 코덱의 공간 스케일러빌리티 구현방법 | |
KR20090004362A (ko) | 웨이블릿 변환을 이용한 영상 압축 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20040225 Termination date: 20180217 |
|
CF01 | Termination of patent right due to non-payment of annual fee |