CN105611300A - 用于视频编码的方法和系统 - Google Patents

用于视频编码的方法和系统 Download PDF

Info

Publication number
CN105611300A
CN105611300A CN201511017016.4A CN201511017016A CN105611300A CN 105611300 A CN105611300 A CN 105611300A CN 201511017016 A CN201511017016 A CN 201511017016A CN 105611300 A CN105611300 A CN 105611300A
Authority
CN
China
Prior art keywords
video
view
view video
picture
basic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201511017016.4A
Other languages
English (en)
Inventor
陈雪敏
萨米尔·赫尔亚尔卡
马库斯·凯勒曼
伊利亚·克莱巴诺夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Broadcom Corp
Zyray Wireless Inc
Original Assignee
Zyray Wireless Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zyray Wireless Inc filed Critical Zyray Wireless Inc
Publication of CN105611300A publication Critical patent/CN105611300A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供用于视频编码的方法和系统。方法包括由视频处理系统中处理器和/或电路执行：接收包含基本视图视频和剩余视图视频的压缩三维视频，基于压缩前左和右视图视频获得运动和视差向量；剩余视图视频的图片与基本视图视频的相应图片相加产生优化视图视频中图片，基本视图视频和优化视图视频解码为左和右视图视频，用运动和视差向量对解码后左和右视图视频中解码图片进行全局运动和/或视差补偿，基本视图视频根据可用存储器资源选择性产生基本视图视频中的图片生成，剩余视图视频通过压缩三维视频的优化视图视频中图片中减去基本视图视频中相应图片生成，根据可用存储器资源，基本视图视频中没有用于预测优化视图视频中相应图片的图片丢弃。

Description

用于视频编码的方法和系统
本申请是分案申请，其母案申请的申请号为201010282186.6，申请日为2010年9月15日，发明名称为“用于视频编码的方法和系统”。
技术领域
本发明涉及视频处理。更具体地说，本发明涉及用于三维视频帧缓存压缩和减少存储器资源的方法和系统。
背景技术
很多设备都具有数字视频功能，例如，数字电视、数字直播系统、数字记录系统等。数字视频设备相比传统的模拟视频系统在处理和以更高带宽效率传送视频序列方面具有显著的进步。
视频内容可以用二维格式或三维格式记录。在各种应用，例如，DVD电影和数字电视中，一般偏爱三维视频，因为对观看者来说，它通常比二维视频更真实。三维视频包括左视图视频和右视图视频。三维视频帧可以由左视图视频部分和右视图视频部分组合而成。
已经建立了很多标准来解码乐缩的数字视频序列，例如，MPEG-l、MPEG-2、MPEG-4、H.263和H.264/AVC。可以将压缩视频中的帧编码为二种可能模式：I-图片、P-图片和B-图片。可以将压缩视频帧分成图片组(Groupofpictures，缩写为GOP)。例如，每个GOP包括一个I-图片、几个P-图片和/或几个B-图片。
比较本发明后续将要结合附图介绍的系统，现有技术的其它局限性和弊端对于本领域的普通技术人员米说是显而易见的。
发明内容
本发明提供了一种用于三维视频帧缓存压缩和存储器资源减少的方法和系统，结合至少一副附图进行详细描述，并在权利要求中得到了更完整的阐述。
根据一个方面，一种用于视频编码的方法，包括：
由视频处理系统中的一个或多个处理器和/或电路执行如下步骤：
接收包含基本视图视频(baseviewvideo)和剩余视图视频(residualviewvideo)的压缩三维视频；以及
将所述接收到的基本视图视频和所述接收到的压缩三维视频的优化视图视频解码为左视图视频和右视图视频。
优选地，所述基本视图视频通过根据可用存储器资源选择性地产生所述基本视图视频中的图片而生成。
优选地，根据所述可用存储器资源，所述基本视图视频中没有用于预测所述优化视图视频中相应图片的一个或多个图片被丢弃。
优选地，所述剩余视图视频通过从所述压缩三维视频的优化视图视频中的图片中减去所述基本视图视频中的相应图片而生成。
优选地，所述方法进一步包括缓存所述接收到的基本视图视频和所述接收到的剩余视图视频。
优选地，所述方法进一步包括将所述缓存的基本视图视频解码为所述左视图视频和/或所述右视图视频。
优选地，所述方法进一步包括将所述缓存的剩余视图视频中的图片加上所述缓存的基本视图视频中的相应图片以产生所述接收的压缩三维视频的优化视图视频中的图片。
优选地，所述方法进一步包括将产生的所述优化视图视频中的图片解码为所述左视图视频和/或所述右视图视频。
优选地，所述方法进一步包括用运动向量提取所述左视图视频中的图片的宏块以运动预测所述右视图视频中的图片的宏块，其中所述右视图视频中的图片的宏块是根据所述左视图视频中的图片的宏块视差预测而来。
优选地，所述方法进一步包括用所述运动向量预提取所述左视图视频中的所述图片的一个或多个相邻宏块以运动预测所述右视图视频中的所述图片的所述宏块的相应一个或多个相邻宏块。
根据一个方面，一种用于视频编码的系统，包括：
用于视频处理系统的一个或多个处理器和/或电路，其中所述一个或多个处理器和/或电路用于：
接收包含基本视图视频和剩余视图视频的压缩三维视频；以及
将所述接收到的基本视图视频和所述接收到的压缩三维视频的优化视图视频解码为左视图视频和右视图视频。
优选地，所述基本视图视频通过根据可用存储器资源选择性地产生所述基本视图视频中的图片而生成。
优选地，根据所述可用存储器资源，所述基本视图视频中没有用于预测所述优化视图视频中相应图片的一个或多个图片被丢弃。
优选地，所述剩余视图视频通过从所述压缩二维视频的优化视图视频中的图片中减去所述基本视图视频中的相应图片而生成。
优选地，所述一个或多个处理器和/或电路用于缓存所述接收到的基本视图视频和所述接收到的剩余视图视频。
优选地，所述一个或多个处理器和/或电路用于将缓存的基本视图视频解码为所述左视图视频和/或所述右视图视频。
优选地，所述一个或多个处理器和/或电路用于将所述缓存的剩余视图视频中的图片加上所述缓存的基本视图视频中的相应图片以产生所述接收的压缩三维视频的优化视图视频中的图片。
优选地，所述一个或多个处理器和/或电路用于将产生的所述优化视图视频中的图片解码为所述左视图视频和/或所述右视图视频。
优选地，所述一个或多个处理器和/或电路用于用运动向量提取所述左视图视频中的图片的宏块以运动预测所述右视图视频中的图片的宏块，其中所述右视图视频中的图片的宏块是根据所述左视图视频中的图片的宏块视差预测而来。
优选地，所述一个或多个处理器和/或电路用于用所述运动向量预提取所述左视图视频中的所述图片的一个或多个相邻宏块以运动预测所述右视图视频中的所述图片的所述宏块的相应一个或多个相邻宏块。
在下述结合附图对本发明的详细描述中，给出了本发明的各种特点和优点，附图中用相似的附图标号表示相似的部件。
附图说明
图1是根据本发明实施例的用于执行帧缓存压缩和减少三维视频存储器资源的示范性视频编码系统的框图。
图2是根据本发明实施例的用于压缩帧缓存区和减少三维视频存储器资源的示范性视频发送单元的框图。
图3是根据本发明实施例的可缓存在压缩帧缓存区以供发送的示范性独立可解码三维AVC流的框图。
图4是根据本发明实施例的用于为三维视频发送而压缩帧缓存区的示范性步骤的流程图。
图5是根据本发明实施例的用于支持帧缓存压缩和减少三维视频存储器资源的示范性视频接收单元的框图。
图6是根据本发明实施例的用于使用压缩帧缓存区来处理压缩三维视频的示范性步骤的流程图。
图7是根据本发明实施例的对三维视频使用减少的存储器资源进行视差预测的示意图。
图8是根据本发明实施例的用于对二维视频使用减少的存储器资源执行视差预测的示范性步骤的流程图。
具体实施方式
本发明用于帧缓存压缩利减少二维视频存储器资源的方法利/或系统提供了一些实施例。根据本发明的各种实施例，视频接收器可以用于从视频发送器接收压缩的三维视频。接收到的压缩三维视频可以包括基本视图视频和剩余视图视频。视频接收器可以用于将接收到的基本视图视频和接收到的压缩三维视频的优化视图视频解码为左视图视频和右视图视频。基本视图视频中的图片可以根据，例如，包含存储器带宽和大小的可用存储器资源选择性生成。在本发明的一个实施例中，VTU200可以用于根据可用存储器资源丢弃和/或跳过不用来预测相应优化视图图片的一个或多个基本视图图片。视频发送器可以用于通过从压缩三维视频的优化视图视频中的图片里减去基本视图视频中的相应图片而生成剩余视图视频。可以将接收到的基本视图视频和接收到的剩余视图视频缓存。可以将缓存的基本视图视频解码生成左视图视频和/或右视图视频。可以将缓存的剩余视图视频中的图片加到缓存的基本视图视频中的相应图片里，以便产生优化视图视频中的图片。可以将优化视图视频中产生的图片解码生成左视图视频和/或右视图视频。用一个运动向量来提取左视图视频中图片的宏块，以便运动预测右视图视频中图片的相应的视差预测的宏块。根据运动视差补偿，由于左视图视频和右视图视频问的高度相关，还可以用运动向量来预提取左视图视频中图片的相邻宏块，以便运动预测右视图视频中图片的相应的视差预测的宏块的相应的相邻宏块。
图l是根据本发明实施例的用于执行帧缓存压缩和减少三维视频存储器资源的示范性视频编码系统的框图。如图l所示，示出了视频传送单元(VTU)110、通信网络120和视频接收单元(VRU)130。
VTU110可以包括合适的逻辑、电路、接口和/或代码，用于向VRU130提供压缩的视频内容。VTU110可以用于获取未压缩的三维视频并将获得的未压缩三维视频进行视频压缩。VTU110可以用于利用，例如，MPEG-4多视图视频编码(MVC)标准将获得的未压缩三维视频压缩为两种编码视图，即基本视图和优化视图。每种编码视图包括许多分层的压缩图片以供传送。基本视图和优化视图中的压缩图片可以通过通信网络120提供给VRU130。
由于基本视图和优化视图问的高度相关，优化视图中的参考压缩图片可以从相应的基本视图压缩图片中预测得到。就这一点而言，VTU110可以用于选择性生成和/或存储压缩图片，以便减少三维视频编码所用的存储器资源，即存储器带宽和大小。例如，可以生成及存储用于预测相应的优化视图图片的基本视图图片。VTU110可以用于丢弃和/或跳过没有用作相应优化视图图片参考的一个或多个基本视图图片。进一步地，基本视图和优化视图问的剩余视图图片可以通过从优化视图中的压缩图片里减去基本视图中的相应压缩图片而生成。可以将基本视图中的压缩图片和生成的剩余视图图片分别缓存。可以将缓存的基本视图中的压缩图片和缓存的剩余视图图片复合成单个传输流以供传送。
为了提高总体编码效率，VTU110可以用于对获得的未乐缩三维视频执行全局运动视差估算。可以将一个宏块作为全局运动视差估算中的基本单元。在这种情况下，对十获得的未压缩三维视频，右视图视频中的未压缩图片的特定宏块口可以根据左视图视频中未压缩图片的一个具体宏块视差预测而来。由于获得的未压缩三维视频的左视图视频和右视图视频问的高度校正，很有可能根据左视图视频中未压缩图片的具体宏块的一个或多个相邻宏块来视差预测右视图视频中未压缩图片的特定宏块的相应的一个或多个相邻宏块。就这一点而言，视差预测推算可以用于预提取相邻宏块以便减少突然访问视频存储器的次数。例如，当用于右视图视频中未压缩图片的特定宏块的运动向量用来提取左视图视频中未压缩图片的具体宏块以便进行运动预测时，该相同的运动向量还可以用于右视图视频中特定宏块的相邻宏块，用来预提取左视图视频中未压缩图片的具体宏块的相应的相邻宏块以便进行运动预测。
通信网络l20可以包括合适的逻辑、电路、接口和/或代码，用于提供VTU110和VRU130间的通信平台。通信网络120可以是有线或无线通信网络。通信网络120可以是LAN、WAN、因特网等。
VRU130可以包括合适的逻辑、电路、接口和/或代码，用于通过通信网络120从VTU110接收传输流。接收到的传输流可以包括压缩三维视频的基本视图图片和剩余视图图片。接收到的基本视图图片和剩余视图图片可以存储起来以便进行视频解码。VRUl30可以用于利用，例如，MPEG一4MVC标准将压缩的三维视频解码为相应解码的三维视频的左视图视频和右视图视频。就这一点而言，VRU130可以用于将存储的基本视图图片解码为，例如，左视图视频。可以将存储的剩余视图图片加上相应的存储的基本视图图片来再生成相关联的优化视图图片。VRU130可以用于将再生成的优化视图图片解码为，例如，右视图视频。然后将左视图视频和右视图视频组合起来向用户显示。
VRU130可以用于执行运动视差补偿以便提高解码的三维视频的视频质量。由于解码的三维视频的左视图视频和右视图视频间的高度依赖性，可以用视差预测推算来预提取运动视差补偿中的相邻宏块。例如，用于提取左视图视频中未压缩图片的具体宏块以便运动预测右视图视频中未压缩图片的特定宏块的运动向量，还可以用于预提取左视图视频中的相邻宏块以便运动预测右视图视频中相应的相邻宏块。VRU130的例子可以包括，例如，机顶盒、个人电脑等。
在示范性运行中，VTU110可以用于获取包含左视图视频和右视图视频的未压缩三维视频。可以将未压缩三维视频以图片为单位压缩成两种编码视图，即基本视图和优化视图。每种编码视图可以包括许多分层的压缩图片。可以根据可用存储器资源丢弃和/或跳过不用于预测相应优化视图图片的一个或多个基本视图图片，以便减少三维视频编码的存储器资源。基本视图图片和优化视图图片问的剩余视图图片可以通过从优化视图图片中减去相应的基本视图图片而生成。可以将基本视图图片和生成的剩余视图图片分别缓存以供传送。可以将缓存的基本视图图片和缓存的剩余视图图片复合成单个传输流，并传送给VRU130。VRU130可以用于将从VTU110接收的传输流解复合。可以将得到的基本视图图片和剩余视图图片存储起来以供视频解码。VRU130可以用于将存储的基本视图图片解码为，例如，左视图视频。可以将存储的剩余视图图片加上相应的存储的基本视图图片来再生成相关联的优化视图图片。可以将再生成的优化视图图片压缩为，例如，右视图视频。然后将得到的左视图视频和右视图视频组合起来向用户显示。
当支持运动视差估算补偿时，VTU110和VRU130分别可以用于执行运动视差估算和运动视差补偿，以提高视频质量。就这一点而言，由于左视图视频和右视图视频间的高度相关性，用于提取左视图视频中具体宏块以便运动预测右视图视频中特定视差预测宏块的运动向量，还可以用于左视图视频中具体宏块的相邻宏块以便运动预测右视图视频中特定视差预测宏块相应的相邻宏块。
图2是根据本发明实施例的用于压缩帧缓存区和减少三维视频存储器资源的示范性视频发送单元的框图。如图2所示，示出了视频传送单元(VTU)200。VTU包括三维视频源210、基本视图编码器212、优化视图编码器214、基本视图传送(Tx)缓存区216、优化视图传送(Tx)缓存区218、全局运动视差处理单元220以及复用器220。
三维视频源210可以包括合适的逻辑、电路、接口和/或代码，用于捕获未压缩的三维视频内容。三维视频包括左视图视频和右视图视频。三维视频图片可以由左视图视频部分和右视图视频部分组合生成。三维视频源210可以用于向视频编码器，例如基本视图编码器212和优化视图编码器214，传送未压缩的三维视频图片，以便进行视频压缩。可以利用MPEG一4MVC标准将未压缩的三维视频图片压缩成两种编码视图，即基本视图和优化视图。每种编码视图可以包括许多分层的压缩图片。
基本视图编码器212可以包括合适的逻辑、电路、接口和/或代码，用于将，例如，来自三维视频源210的左视图视频以图片为单位编码成基本视图流。就这一点而言，基本视图编码器212可以用于选择性生成和/或存储基本视图视频中的图片，以减少二维视频编码所用的存储器资源。例如，基本视图编码器212可以用于生成及存储用作参考来预测优化视图视频中相应参考图片的基本视图图片。可以丢弃和/或跳过不用于预测相应优化视图图片的一个或多个基本视图图片。基本视图编码器212可以用于利用各种视频压缩算法，例如MPEG-4、AVC、VCl、VP6和/或其它视频格式将来自三维视频源210的左视图视频转化为压缩的或编码的视频内容。可以将基本视图编码过程中的信息，例如场景信息，传送给优化视图编码器214以便进行优化视图编码。
优化视图编码器214可以包括合适的逻辑、电路、接口和/或代码，用于将，例如，来自三维视频源210的右视图视频以图片为单位编码成优化视图流。优化视图编码器214可以用于利用各种视频压缩算法，例如MPEG-4、AVC、VCl、VP6和/或其它视频格式将来白三维视频源210的右视图视频转化为压缩的或编码的视频内容。可以利用基本视图编码过程中的场景信息将优化视图编码过程与基本视图编码过程相关联。就这一点而言，优化视图编码器214可以用于利用一个或多个生成的基本视图图片来预测相应的优化视图图片。得到的预测优化视图图片的剩余视图图片可以存储起来以供传送，这样就可以压缩传送帧缓存区。
基本视图Tx缓存区216和优化视图Tx缓存区218可以包括合适的逻辑、电路、接口和/或代码，分别用于缓冲或存储来自基本视图编码器214的压缩基本视图图片和基本视图流与优化视图流之间的剩余视图图片。基本视图Tx缓存区216和优化视图Tx缓存区218可以在先进先出准则下工作。基本视图Tx缓存区216和优化视图Tx缓存区218可以用于管理缓存的图片，以便根据例如目标节目的QoS，以预期的帧速率发送。
全局运动视差处理单元220可以包括合适的逻辑、电路、接口和/或代码，用于执行全局运动和/或视差估算。视差估算(DE)足一个确定所需的局部转换以校准两张图片中不同区域的过程。全局运动用于通过参数化运动模型来描述一个对象的不同组成部分的运动的相干成分。全局运动估算(GME)是一个估算参数化运动模型的这些参数的过程。全局运动视差处理单元220可以用于根据相应未压缩图片的宏块执行全局运动估算利/或视差估算。例如，右视图视频中一个图片的特定宏块可以根据左视图视频中一个图片的特定宏块视差预测而来。由于未压缩三维视频的左视图视频和右视图视频问的高度相关性，可以用视差预测推算来预提取相邻宏块以供运动补偿，以便减少突然访问存储器的次数。就这一点而言，用于提取左视图视频中图片的特定宏块以便对右视图视频中图片的特定宏块进行运动补偿的运动向量，还可以用于左视图视频中图片的特定宏块的一个或多个相邻宏块，以便对右视图视频中图片的特定宏块的一个或多个相应相邻宏块进行运动补偿。全局运动视差处理单元220可以用于计算运动向量和视差向量，并将它们传送给复合器230以供发送。
复合器230可以包括合适的逻辑、电路、接口和/或代码，用于将压缩的视频流和其它次要信息，例如运动向量和/或视差向量，合并成单个传输流(TS)以供发送。压缩的视频流可以包括压缩的基本视图视频以及剩余视图视频。
在示范性运行中，三维视频源210可以用于捕获未压缩的三维视频内容，该三维视频包括左视图视频和右视图视频。可以利用MPEG一4MVC标准将木压缩的三维视频压缩成基本视图视频和优化视图视频。左视图视频和右视图视频中未压缩的图片分别可以南基本视图编码器212和优化视图编码器214压缩或编码。基本视图编码器212可以用于丢弃和/或跳过不用于预测相应优化视图图片的一个或多个基本视图图片，以减少三维视频编码所用的存储器资源。基本视图和剩余视图图片分别可以缓存在基本视图Tx缓存区216和优化视图Tx缓存区218中，以供发送。复合器230可以用于将来自基本视图Tx缓存区216和优化视图Tx缓存区218的视频流以及其它次要信息，例如由全局运动视差处理单元220提供的运动向量和/或视差向量，复合生成传输流。生成的传输流可以通过通信网络120发送给VRU130。
图3是根据本发明实施例的缓存在压缩帧缓存区以供发送的示范性独立可解码三维AVC流的框图。如图3所示，示出了三维AVC流300。三维AVC流300包括基本视图视频流3i0和优化视图视频流320，它们分别由基本视图编码器212和优化视图编码器214利用MPEG-4标准生成或产生。基本视图视频流310包括许多图片，其中，示出了图片311-319。优化视图视频流320包括许多图片，其中，示出了图片321-325。三维AVC流300中的图片按分配的编码顺序生成。例如，编码顺序为1的图片311可以由基本视图编码器212第一个生成。编码顺序为2的图片315和图片321可以分别由基本视图编码器212与优化视图编码器214在图片311之后生成。可以将没有用于预测相应优化视图图片的一个或多个基本视图图片，例如，图片312、314、316和/或318，丢弃和/或跳过，以便减少三维视频编码所用的存储器资源。基本视图视频流310可以缓存在基本视图Tx缓存区216中以供发送。优化视图视频流320将不发送给VRUl30。反而，可以生成剩余视图图片以供发送。优化视图视频流320中特定图片的剩余视图图片可以通过将优化视图视频流320中的特定图片减去基本视图视频流310中的相应图片而生成。优化视图视频流320的剩余视图图片可以缓存在优化视图Tx缓存区218中以供发送。
图4是根据本发明实施例的用于为二维视频发送而压缩帧缓存区的示范性步骤的流程图。如图4所示，示范性步骤开始于步骤402，其中三维视频的压缩图片可以包括基本视图和优化视图，这些视图分别从基本视图编码器212和优化视图编码器214中接收。在步骤404，基本视图图片可以缓存在基本视图Tx缓存区216中以供发送。在步骤406，对于每个优化视图图片，可以通过减去相应的基本视图图片而生成剩余视图图片。在步骤408，生成的剩余视图图片可以缓存在优化视图Tx缓存区218中以供发送。在步骤410，复合器230可以用于复合来自基本视图Tx缓存区216的基本视图图片与来自优化视图Tx缓存区218的剩余视图图片以生成发送用的传输流。示范性步骤可以结束于步骤412。
图5是根据本发明实施例的用于支持帧缓存压缩和减少三维视频存储器资源的示范性视频接收单元的框图。如图5所示，示出了视频接收单元(VRU)500。VRU500包括传输解复合器502、基本视图Rx缓存区504、优化视图Rx缓存区506、基本视图解码器508、优化视图解码器510、合成器512、运动视差补偿处理器514、视频显示设备516、主处理器518以及存储器520。
传输解复合器502可以包括合适的逻辑、电路、接口和/或代码，用于解复合或解析从VTU110接收到的传输流。接收到的传输流是一种包含多个流的复合流，这些流可以是，例如基本视图流、剩余视图视频流以及其它次要信息，例如三维视频的运动和视差估算信息。传输解复合器502可以用于从接收到的传输流中提取基本视图流和剩余视图视频流。提取的基本视图流的图片可以缓存在基本视图Rx缓存区504中。提取的剩余视图视频流的剩余视图图片可以缓存在优化视图Rx缓存区506中。
基本视图Rx缓存区504和优化视图Rx缓存区506可以包括合适的逻辑、电路、接口和/或代码，分别用于缓冲或存储提取的基本视图J玉缩图片以及提取的剩余视图图片。基本视图Rx缓存区504和优化视图Rx缓存区506可以在先进先出准则下工作。基本视图Rx缓存区504和优化视图Rx缓存区506可以用于管理缓存的压缩图片，以便根据例如目标节目的QoS，以预期的帧速率发送。
基本视图解码器508可以包括合适的逻辑、电路、接口和/或代码，用于将从VTU11接收到的基本视图视频以帧为单位解码成，例如，三维视频的左视图视频。基本视图解码器508可以用于利用各种视频解压缩算法，例如MPEG-4、AVC、VCl、VP6和/或其它视频格式来形成解压缩或解码的基本视图视频内容。可以将基本视图解码过程中的信息，例如场景信息，传送给优化视图解码器510以便进行优化视图解码。
优化视图解码器510可以包括合适的逻辑、电路、接口和/或代码，用于将来自VTU11的优化视图视频以帧为单位解码成，例如，三维视频的右视图视频。优化视图解码器510可以用于利用优化视图Rx缓存区506中的剩余视图图片以及基本视图Rx缓存区504中相应的基本视图图片来进行优化解码。例如，优化视图解码器510可以用于将缓存的剩余流中的图片加上缓存的基本视图流中的相应图片以再生成相关的优化视图流中的图片。优化视图解码器510可以用于将再生出的优化视图流中的图片解码成，例如，三维视频的右视图中解码的图片。可以利用各种视频解压缩算法，例如MPEG-4、AVC、VCl、VP6和/或其它视频格式来形成解压的或解码的优化视图视频内容。得到的左视图视频和右视图视频可以传送给合成器512，以产生用作显示的三维图片。
合成器512可以包括合适的逻辑、电路、接口和/或代码，用于将左视图和右视图合成三维图片以供显示。左视图和右视图口J以由运动视差补偿处理器514进行运动视差补偿。合成器512可以用于通过视频显示设备516向用户展示三维图片。
运动视差补偿处理器514可以包括合适的逻辑、电路、接口和/或代码，用于对二维视频的左视图利右视图图片执行全局运动利/或视差补偿。例如，右视图视频中图片的特定宏块可以根据左视图视频中图片的特定宏块视差预测而来。由于三维视频的左视图视频和右视图视频问的高度相关性，可以用视差预测推算来预提取相邻宏块以供运动补偿，以便减少突然访问存储器的次数。可以用运动向量来提取左视图视频中图片的特定宏块以补偿右视图视频中图片的特定宏块。该相同的运动向量还可以用于左视图视频中图片的特定宏块的一个或多个相邻宏块，以便运动补偿右视图视频中图片的特定宏块的相应一个或多个相邻宏块。
视频显示设备516可以包括合适的逻辑、电路和/或代码，用于显示从合成器512接收的三维视频图片。
主处理器518可以包括合适的逻辑、电路接口和/或代码，用于操纵及控制相关单元的运行，例如传输解复合器502和/或运动视差补偿处理器514，以支持各种应用，例如，VRU500上的三维视频流。
存储器520可以包括合适的逻辑、电路、接口和/或代码，用丁存储VRU500可能使用的信息，例如可执行指令和数据。可执行指令可以包括各种图像处理函数，这些函数可以由基本视图解码器508和优化视图解码器510用来处理处理解码的视频内容。可执行指令可以包括运动视差补偿算法，该算法可以由运动视差补偿处理器514用来执行运动视差补偿。数据可以包括接收到的传输流数据和解码的视频内容。存储器520可以包括RAM、ROM、以闪存为例的低延迟非易失性存储器和/或其它合适的电子数据存储器。
在运行中，传输解复合器502可以用于从VTU110接收传输流。接收到的传输流包括视频流，例如基本视图流、剩余视图流和其它三维视频的次要信息。接收到的次要信息可以包括相关的运动向量和视差向量。传输解复合器502可以用于将接收到的传输流解复合或解析成基本视图流、剩余视图流以及相关的运动向量和视差向量。可以提取基本视图流和剩余视图流以进行视频解码。就这一点而言，提取的基本视图流和剩余视图流可以分别缓存在基本视图Rx缓存区504和优化视图Rx缓存区506中。基本视图解码器508可以用于将缓存的基本视图流解码成，例如，对应的解码三维视频的左视图流。优化视图解码器510可以用于将缓存的剩余流中的图片加上缓存的基本流中的相应图片，以再生成相关优化视图流中的图片。可以将再生成的优化视图流解码成，例如，解码的三维视频的右视图视频。左视图和右视图视频可以经运动视差补偿处理器514处理以获得更高的视频质量。就这一点而言，运动视差补偿处理器514可以用于对解码三维视频的左视图和右视图视频中的解码图片的多个宏块执行全局运动和/或视差补偿。当右视图视频中图片的特定宏块可以根据左视图视频中图片的特定宏块视差预测而来时，可以用左视图视频中图片的特定宏块的运动向量来提取一个或多个相关的相邻宏块，以便运动补偿右视图视频中图片的特定宏块的相应的一个或多个相邻宏块。可以将运动视差补偿后的左视图和右视图图片组合以形成相应的可以在视频显示设备516中显示的二维图片。
图6是根据本发明实施例的用于使用压缩帧缓存区来处理压缩三维视频的示范性步骤的流程图。如图6所示，示范性步骤开始于步骤602，其中传输解复合器502可以用于接收压缩三维视频的传输流。接收到的传输流包括压缩的三维视频的基本视图图片和剩余视图图片。在步骤604，传输解复合器502可以用于将接收到的传输流解复合或解析为压缩的三维视频的基本视图图片和剩余视图图片。在步骤606，可以提取出压缩的基本视图图片并缓存在基本视图Rx缓存区504中。在步骤608，可以提取出剩余视图图片并缓存在优化视图Rx缓存区506中。在步骤610，基本视图解码器508可以用于将缓存的基本视图图片解码为，例如，对应的解码的三维视频的左视图图片。在步骤612，可以将缓存的剩余视图图片与相应的基本视图图片相加以再生成相关的优化视图图片。在步骤614，优化视图解码器510可以用于将再生成的优化视图图片解码为，例如，对应的解码的三维视频的右视图图片。在步骤616，运动视差补偿处理器514可以用于对左视图和右视图视频中解码的图片执行运动视差补偿。在步骤618，合成器512可以用于利用运动视差补偿后的左视图和右视图图片来生成三维图片以便显示。示范性步骤结束于步骤620。
图7是根据本发明实施例的对三维视频使用减少的存储器资源进行视差预测的示意图。如图7所示，示出了三维视频的左视图图片710和右视图图片720。三维视频可以是未压缩源三维视频或解码的三维视频。左视图图片710可以包括多个宏块，其中示出了宏块712和714。宏块714是宏块712的一个相邻宏块。右视图图片720可以包括多个宏块，其中示出了宏块722和724。宏块724足宏块722的一个相邻宏块。当右视图图片720中的宏块722可以根据左视图视频710中的宏块712视差预测而得到时，由于左视图图片710和右视图图片'i'20问的高度相关性，宏块722的一个或多个相邻宏块，例如，宏块724，很有可能根据宏块712的相应相邻宏块例如宏块714视筹预测而来。就这一点而言，视差预测推算可以用于预提取相邻宏块以便运动估算或运动补偿，这样可以减少突然访问视频存储器的次数。例如，当一个运动向量用于提取左视图710中的宏块712以便运动预测右视图视频720中的宏块722时，该相同的运动向量还可以用于预提取左视图视频710中宏块712的相邻宏块，例如，宏块714，以便运动预测右视图视频中宏块722的相应相邻宏块，例如，宏块724。
图8是根据本发明实施例的用于对三维视频使用减少的存储器资源执行视差预测的示范性步骤的流程图。如图8所示，示范性步骤开始于步骤802，其中块A是三维视频左视图中的宏块。块B是三维视频右视图中的宏块。块B是块A的视差预测块。参数MV_B是块B的运动向量。在步骤804，需要确定块B是否需要运动预测。当块B需要运动预测时，跳向步骤806，可以使用Mv_B提取视频存储器中的块A以运动预测块B。在步骤808，需要确定块B的相邻宏块是否需要运动预测。当块B的相邻宏块需要运动预测时，跳向步骤810，可以使用MV_B关于视频存储器中块B的相邻宏块来提取左视图中的相应宏块。示范性步骤结束于步骤812。
在步骤804，当块B不需要运动预测时，接下来示范性步骤结束于步骤812。
在步骤808，当块B的相邻宏块不需要运动预测时，接下来示范性步骤结束于步骤812。
本发明提供了一种用于二维视频的帧缓存压缩和存储器资源减少的方法和系统。根据本发明的各种实施例，VRU500可以用于从VTU200接收压缩的三维视频。接收到的压缩的三维视频可以包括基本视图视频和剩余视图视频。VXU500可以用于将接收到的压缩的三维视频的基本视图视频和优化视图视频解码为左视图视频和右视图视频。基本视图视频可以根据可用存储器资源通过选择性产生基本视图图片而生成。例如，VTU200可以用于根据可用存储器资源丢弃和/或跳过没有用于预测相应优化视图图片的一个或多个基本视图图片。VTU200可以用于通过从压缩三维视频的优化视图视频的图片中减去基本视图视频中的相应图片而生成剩余视图视频。接收到的基本视图视频和接收到的剩余视图视频可以分别缓存在基本视图Rx缓存区504和优化视图Rx缓存区506中。缓存的基本视图视频可以通过基本视图解码器508解码。可以用得到的解码的基本视图视频生成左视图视频和/或右视图视频。优化视图解码器510可以用于将缓存的剩余视图视频中的图片与缓存的基本视图视频中的相应图片相加而生成优化视图视频中的图片。产生的优化视图视频中的图片可以通过优化视图解码器510解码。得到的解码的图片可以用于生成左视图视频和/或右视图视频。VXU500可以用于执行运动视差补偿以得到更高的视频质量。就这一点而言，VRU500可以用于利用运动向量来提取左视图视频中图片的宏块以运动预测右视图视频中图片的宏块。右视图视频中图片的宏块可以根据左视图视频中图片的宏块视差预测以便运动预测。由丁左视图视频和右视图视频之间的高度相关性，可以用相同的运动向量来预提取左视图视频中图片的一个或多个相邻宏块以运动预测右视图视频中图片宏块的相应一个或多个相邻宏块。
本发明的另一个实施例可以提供一种机器和/或计算机可读存储器和/或媒介，其存储器储的机器代码和/或计算机程序包括至少一个代码段，所述至少一个代码段由机器和/或计算机执行，从而使该机器和/或计算机执行上述用于帧缓存压缩和减少三维视频存储器资源的方法和系统的步骤。
因此，本发明可以通过硬件、软件，或者软、硬件结合来实现。本发明可以在至少一个计算机系统中以集中方式实现，或者由分布在几个互连的计算机系统中的不同部分以分散方式实现。任何可以实现方法的计算机系统或其它设备都是可适用的。常用软硬件的结合可以是安装有计算机程序的通用计算机系统，通过安装和执行程序控制计算机系统，使其按方法运行。
本发明还可以通过计算机程序产品进行实施，程序包含能够实现本发明方法的全部特征，当其安装到计算机系统中时，可以实现本发明的方法。本文件中的计算机程序所指的是：可以采用任何程序语言、代码或符号编写的一组指令的任何表达式，该指令组使系统具有信息处理能力，以直接实现特定功能，或在进行下述一个或两个步骤之后实现特定功能：a)转换成其它语言、解码或符号；b)以不同的格式再现。
虽然本发明是通过具体实施例进行说明的，本领域技术人员应当明白，在不脱离本发明范围的情况下，还可以对本发明进行各种变换及等同替代。另外，针对特定情形或材料，可以对本发明做各种修改，而不脱离本发明的范围。因此，本发明不局限于所公开的具体实施例，而应当包括落入本发明权利要求范围内的全部实施方式。

Claims (4)

1.一种用于视频编码的方法，其特征在于，包括：
由视频处理系统中的一个或多个处理器和/或电路执行如下步骤：
接收包含基本视图视频和剩余视图视频的压缩三维视频，以及基于压缩前的左视图视频和右视图视频所获得的运动向量和视差向量；以及
将所述剩余视图视频的图片与所述基本视图视频的相应图片相加从而产生优化视图视频中的图片，将所述基本视图视频和所述优化视图视频解码为左视图视频和右视图视频，利用所述运动向量和视差向量对解码后的左视图视频和右视图视频中的解码图片进行全局的运动和/或视差补偿，
其中，所述基本视图视频通过根据可用存储器资源选择性地产生所述基本视图视频中的图片而生成，并且
其中，所述剩余视图视频通过从所述压缩三维视频的优化视图视频中的图片中减去所述基本视图视频中的相应图片而生成，
其中，根据所述可用存储器资源，所述基本视图视频中没有用于预测所述优化视图视频中相应图片的一个或多个图片被丢弃。
2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括缓存所述接收到的基本视图视频和所述接收到的剩余视图视频。
3.一种用于视频编码的系统，其特征在于，包括：
用于视频处理系统的一个或多个处理器和/或电路，其中所述一个或多个处理器和/或电路用于：
接收包含基本视图视频和剩余视图视频的压缩三维视频，以及基于压缩前的左视图视频和右视图视频所获得的运动向量和视差向量；以及
将所述剩余视图视频的图片与所述基本视图视频的相应图片相加从而产生优化视图视频中的图片，将所述基本视图视频和所述优化视图视频解码为左视图视频和右视图视频，利用所述运动向量和视差向量对解码后的左视图视频和右视图视频中的解码图片进行全局的运动和/或视差补偿，
其中，所述基本视图视频通过根据可用存储器资源选择性地产生所述基本视图视频中的图片而生成，并且
其中，所述剩余视图视频通过从所述压缩三维视频的优化视图视频中的图片中减去所述基本视图视频中的相应图片而生成，
其中，根据所述可用存储器资源，所述基本视图视频中没有用于预测所述优化视图视频中相应图片的一个或多个图片被丢弃。
4.根据权利要求3所述的系统，其特征在于，所述一个或多个处理器和/或电路用于缓存所述接收到的基本视图视频和所述接收到的剩余视图视频。
CN201511017016.4A 2009-09-16 2010-09-15 用于视频编码的方法和系统 Pending CN105611300A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/560,554 US8428122B2 (en) 2009-09-16 2009-09-16 Method and system for frame buffer compression and memory resource reduction for 3D video
US12/560,554 2009-09-16
CN2010102821866A CN102026009A (zh) 2009-09-16 2010-09-15 用于视频编码的方法和系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2010102821866A Division CN102026009A (zh) 2009-09-16 2010-09-15 用于视频编码的方法和系统

Publications (1)

Publication Number Publication Date
CN105611300A true CN105611300A (zh) 2016-05-25

Family

ID=43415237

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201511017016.4A Pending CN105611300A (zh) 2009-09-16 2010-09-15 用于视频编码的方法和系统
CN2010102821866A Pending CN102026009A (zh) 2009-09-16 2010-09-15 用于视频编码的方法和系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2010102821866A Pending CN102026009A (zh) 2009-09-16 2010-09-15 用于视频编码的方法和系统

Country Status (4)

Country Link
US (2) US8428122B2 (zh)
EP (1) EP2302939B1 (zh)
CN (2) CN105611300A (zh)
TW (1) TWI499275B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8428122B2 (en) 2009-09-16 2013-04-23 Broadcom Corporation Method and system for frame buffer compression and memory resource reduction for 3D video
US8300881B2 (en) 2009-09-16 2012-10-30 Broadcom Corporation Method and system for watermarking 3D content
JP5756119B2 (ja) * 2009-11-18 2015-07-29 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 柔軟な視差選択が可能な３次元コンテンツ配信のための方法とシステム
US8817072B2 (en) 2010-03-12 2014-08-26 Sony Corporation Disparity data transport and signaling
CN102256137B (zh) * 2011-07-13 2013-07-17 西安电子科技大学 基于上下文预测的极光图像无损编码方法
TWI456975B (zh) 2011-08-23 2014-10-11 Acer Inc 立體影像處理裝置與方法
CN102710950B (zh) * 2012-05-31 2014-02-12 哈尔滨工业大学 一种单路电视信号传输3d视频的系统和方法
CN103024452A (zh) * 2012-12-21 2013-04-03 北京牡丹电子集团有限责任公司数字电视技术中心 一种3d立体电视节目复用方法及系统
CN104202607B (zh) * 2014-08-26 2018-11-02 西安电子科技大学 一种图像无损压缩方法和电子设备
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10567464B2 (en) * 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020009137A1 (en) * 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
JP2006074474A (ja) * 2004-09-02 2006-03-16 Toshiba Corp 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
CN1882099A (zh) * 2002-01-24 2006-12-20 株式会社日立制作所 运动图像的编码方法、解码方法、编码装置及解码装置
US20070064800A1 (en) * 2005-09-22 2007-03-22 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
WO2009040701A2 (en) * 2007-09-24 2009-04-02 Koninklijke Philips Electronics N.V. Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1357758A3 (en) * 1995-08-02 2004-10-27 Matsushita Electric Industrial Co., Ltd. Video coding device and video transmission system using the same, quantization control method and average throughput calculation method used therein
CA2208950A1 (en) 1996-07-03 1998-01-03 Xuemin Chen Rate control for stereoscopic digital video encoding
US5652616A (en) * 1996-08-06 1997-07-29 General Instrument Corporation Of Delaware Optimal disparity estimation for stereoscopic video coding
US6043838A (en) * 1997-11-07 2000-03-28 General Instrument Corporation View offset estimation for stereoscopic video coding
US7627886B2 (en) * 2002-03-04 2009-12-01 Microsoft Corporation Systems and methods for displaying video streams
KR100987775B1 (ko) 2004-01-20 2010-10-13 삼성전자주식회사 영상의 3차원 부호화 방법
AU2006346224A1 (en) * 2005-07-20 2008-05-02 Vidyo, Inc. System and method for jitter buffer reduction in scalable coding
KR101227601B1 (ko) * 2005-09-22 2013-01-29 삼성전자주식회사 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치
WO2010076846A1 (ja) * 2008-12-29 2010-07-08 パナソニック株式会社 記録媒体、再生装置、及び集積回路
US9414080B2 (en) 2009-08-21 2016-08-09 Broadcom Corporation Method and system for asymmetrical rate control for 3D video compression
US8803906B2 (en) 2009-08-24 2014-08-12 Broadcom Corporation Method and system for converting a 3D video with targeted advertisement into a 2D video for display
US8487981B2 (en) 2009-09-04 2013-07-16 Broadcom Corporation Method and system for processing 2D/3D video
US8300881B2 (en) 2009-09-16 2012-10-30 Broadcom Corporation Method and system for watermarking 3D content
US8428122B2 (en) * 2009-09-16 2013-04-23 Broadcom Corporation Method and system for frame buffer compression and memory resource reduction for 3D video
US8472625B2 (en) 2009-09-16 2013-06-25 Broadcom Corporation Method and system for protecting 3D video content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020009137A1 (en) * 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
CN1882099A (zh) * 2002-01-24 2006-12-20 株式会社日立制作所 运动图像的编码方法、解码方法、编码装置及解码装置
JP2006074474A (ja) * 2004-09-02 2006-03-16 Toshiba Corp 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
US20070064800A1 (en) * 2005-09-22 2007-03-22 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
WO2009040701A2 (en) * 2007-09-24 2009-04-02 Koninklijke Philips Electronics N.V. Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal

Also Published As

Publication number Publication date
TW201138426A (en) 2011-11-01
US8428122B2 (en) 2013-04-23
EP2302939A3 (en) 2013-01-02
EP2302939A2 (en) 2011-03-30
US8913503B2 (en) 2014-12-16
TWI499275B (zh) 2015-09-01
EP2302939B1 (en) 2014-07-16
CN102026009A (zh) 2011-04-20
US20130235157A1 (en) 2013-09-12
US20110063414A1 (en) 2011-03-17

Similar Documents

Publication Publication Date Title
CN105611300A (zh) 用于视频编码的方法和系统
CA2748374C (en) Video encoding using previously calculated motion information
KR102179360B1 (ko) 비디오 스플라이싱을 단순화시키기 위한 버퍼링 정보에 대한 구문 및 의미
CN103959774B (zh) 用于高效视频编码的运动信息的有效存储
EP2403248B1 (en) Moving picture encoding device, moving picture encoding method, and moving picture encoding computer program
US20040252768A1 (en) Computing apparatus and encoding program
US20010048768A1 (en) Method for computational graceful degradation in an audiovisual compression system
CN105900420A (zh) 选择运动向量精度
CN106170092A (zh) 用于无损编码的快速编码方法
CN105359511A (zh) 为了自适应位速率流化而利用自适应量化编码多个视频流的系统和方法
CN103379337B (zh) 视频图像编码装置及方法、视频图像解码装置及方法
CN107277523A (zh) 视频解码设备以及视频解码方法
JP2012169763A (ja) 画像符号化装置と画像符号化方法およびプログラム
CN102036065A (zh) 用于视频编码的方法和系统
JP2012517178A (ja) 多視点映像の符号化及び復号化のための装置及び方法
CN115118976A (zh) 一种图像编码方法、可读介质及其电子设备
CN103780908A (zh) 一种高效的h264解码方法
JP5706264B2 (ja) 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
JP2009260494A (ja) 画像符号化装置及びその制御方法
US20200128240A1 (en) Video encoding and decoding using an epitome
JP4184389B2 (ja) 動きベクトル復号装置および復号方法
JP4231097B2 (ja) 動きベクトル復号装置および復号方法
JP4184388B2 (ja) 動きベクトル符号化装置および符号化方法
JP2013192024A (ja) 映像送信装置およびそのプログラム、ならびに、映像受信装置およびそのプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160525

WD01 Invention patent application deemed withdrawn after publication