CN104780384A - 解码视频帧的序列的方法、编码多视图帧的序列的方法 - Google Patents

解码视频帧的序列的方法、编码多视图帧的序列的方法 Download PDF

Info

Publication number
CN104780384A
CN104780384A CN201510111781.6A CN201510111781A CN104780384A CN 104780384 A CN104780384 A CN 104780384A CN 201510111781 A CN201510111781 A CN 201510111781A CN 104780384 A CN104780384 A CN 104780384A
Authority
CN
China
Prior art keywords
image
half portion
video
subgraph
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510111781.6A
Other languages
English (en)
Other versions
CN104780384B (zh
Inventor
亚历山德罗斯·图拉皮斯
沃尔特·J·胡萨克
佩沙拉·V·帕哈拉瓦达
阿萨纳西奥斯·莱昂塔里斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN104780384A publication Critical patent/CN104780384A/zh
Application granted granted Critical
Publication of CN104780384B publication Critical patent/CN104780384B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

提供一种解码视频帧的序列的方法、编码多视图帧的序列的方法。编码方法包括：接收第一视图图像和第二视图图像；采样第一视图图像的奇数行和奇数列，以生成封装的视频帧的第一子图像；采样第一视图图像的偶数行和偶数列，以生成封装的视频帧的第二子图像；采样第二视图图像的奇数行和偶数列，以生成封装的视频帧的第三子图像；采样第二视图图像的偶数行和奇数列，以生成封装的视频帧的第四子图像；生成封装的视频帧的第一边信息，第一边信息指示交织的第一视图图像和第二视图图像的梅花形五点采样格式；以及生成封装的视频帧的第二边信息，第二边信息指示第一、第二、第三和第四子图像如何被平铺在一起以形成封装的视频帧。

Description

解码视频帧的序列的方法、编码多视图帧的序列的方法
本申请是申请号为201080006265.2(PCT/US2010/022445)、申请日为2010年1月28日、发明名称为“视频编码方法、视频装置和编码系统”的母案申请的分案申请。
相关申请的交叉引用
本申请要求2009年1月29日提交的美国临时专利申请61/148,051号的优先权，通过引用将其全部内容包含于此。
技术领域
本发明涉及数字数据的编码和解码，尤其涉及数字视频数据。
背景技术
近年来，内容提供商对将立体(3D)内容传送到家庭相当感兴趣。这种兴趣不仅受到3D素材越来越普及和产品越来越多的驱动，而且受到若干已经对消费者销售的立体装置的出现的驱动。已经提出了若干用于将立体素材传送到家庭的系统。
发明内容
本发明人实现了对3D以及其它多图像视频系统更好地编码和解码的需要。在各种实施例中，本发明提供了用于编码和解码视频数据的方法、系统和体系结构。例如，使用数据或“红”或“黑”的棋盘式(CB)交织的视频数据，以“红”数据跟着“红”数据之前的黑数据等的格式，进行编码和解码(“红”数据意味着第一图像、视图或者场景的图像数据(被统称为复数的“各视图”或者单数的“视图”)，且“黑”数据意味着(例如，单独视频流的)第二独立视图或者相关视图(例如，要根据“红”和“黑”数据二者绘制(render)的3D图像的第二视图，或者“红”数据中承载的相同视图的另一个角度)的图像数据)。将这些概念扩展，例如，交织视频可以包括例如来自多个节目流、相同场景的多个角度、或者相同或者不同场景、视频游戏或者节目的多组3D视图的多个图像中的任何之一或者更多。另外，用于编码的帧的准备可以包括通过梅花形五点采样或者其它采样技术执行的采样。然后，以有利的格式(例如，考虑到编码器的容量/意向或者数据的格式)布置采样的数据，该格式可以是直棋盘式或者以一个或者更多模式交织的数据(例如，子图像)分组。然后，例如，可以通过MPEG-4AVC或者另一种编码技术进行编码。
在一个实施例中，本发明提供了一种用于利用计算机解码视频帧的序列的方法，该方法包括：接收输入视频帧，输入视频帧包括按照交织布置的两个分离图像；访问第一边信息，第一边信息指示输入帧的交织布置的采样格式；访问第二边信息，第二边信息指示输入帧的按照交织布置的两个分离图像的像素的布置；以及生成第一输出图像和第二输出图像，其中，生成第一输出图像和第二输出图像包括：如果第一边信息指示梅花形五点采样格式且第二边信息指示垂直布置，则将输入视频帧划分为左上半部图像、左下半部图像、右上半部图像和右下半部图像；基于左上半部图像和左下半部图像的像素生成第一输出图像，其中，左上半部图像表示第一输出图像的奇数行和奇数列的样本，且左下半部图像表示第一输出图像的偶数行和偶数列的样本；以及基于右上半部图像和右下半部图像的像素生成第二输出图像，其中，右上半部图像表示第二输出图像的奇数行和偶数列的样本，且右下半部图像表示第二输出图像的偶数行和奇数列的样本。
在另一个实施例中，本发明提供了一种用于将多视图帧的序列编码为比特流的方法，该方法包括：接收第一视图图像和第二视图图像；采样第一视图图像的奇数行和奇数列，以生成封装的视频帧的第一子图像；采样第一视图图像的偶数行和偶数列，以生成封装的视频帧的第二子图像；采样第二视图图像的奇数行和偶数列，以生成封装的视频帧的第三子图像；采样第二视图图像的偶数行和奇数列，以生成封装的视频帧的第四子图像；生成封装的视频帧的第一边信息，第一边信息指示交织的第一视图图像和第二视图图像的梅花形五点采样格式；以及生成封装的视频帧的第二边信息，第二边信息指示第一、第二、第三和第四子图像如何被平铺在一起以形成封装的视频帧。
在一个实施例中，本发明提供了一种方法，包括步骤：对n个图像进行子采样(sub-sample)；将采样图像中的每个采样图像分离为子图像；将子图像一起封装到图像帧中；以及通过视频编码器对单个图像帧进行编码。子采样步骤包括例如梅花形五点采样。该图像可以包括例如3D图像的左视图和右视图、相同场景的多个视图以及多个图像至少之一(并且该图像还可以包括深度和遮挡信息之一)，或者该图像可以包括来自该图像之一的多于一个像素的组。该子图像可以包括其特性与标准图像相似的图像内的数据，或者该子图像可以包括从相应图像中通过模式选择的数据。
分离步骤可以包括例如基于行和基于列中至少之一分离采样图像。分离步骤可以包括从采样图像中的每个采样图像准备多个块的邻近数据。封装步骤可以包括以预定格式交织子图像。预定格式可以基于例如图像、采样图像和所分离的图像样本的任何一个自适应地改变。该方法还可以包括编码标识预定格式的映射的步骤。可以在例如图像帧的区域中编码映射，并且在图像帧的其它区域中执行子图像的封装。映射可以被编码为边信息。交织可以包括例如水平交织、垂直交织和矩形块交织之一。
该子采样步骤可以包括梅花形五点采样，该分离步骤可以包括使用子采样图像的每个其它行和每个其它列之一准备子图像，并且该封装步骤可以包括布置基于行和基于列的子图像之一。该方法可以还包括编码子图像在该图像帧内的布置的标识符的步骤。在一个实施例中，该标识符是放置在该编码模式块的边信息中的代码。作为一种选择，它还可以被放置在该图像帧中。
该封装步骤可以包括根据这里描述的模式和其它模式的任何一个进行封装。该封装可以例如维持至少一个尺寸与该子采样图像之一的尺寸相等。该封装可以包括例如要有效利用解码该编码图像要使用的资源而选择的封装格式。该封装可以包括为了允许包括SNR/分辨率可伸缩性和2D至3D可伸缩性的高级可伸缩性特征而选择的封装格式。基于诸如处理能力的可用资源，可以选择该封装格式。该封装可以包括例如维持具有高值的像素以解码/上采样互相非常靠近的每个[子图像]。该编码步骤可以包括诸如JPEG、JPEG-2000、类MPEG－2、MPEG－4AVC和VC1编码的任何一个图像或者视频编码系统。
在其它实施例中，本发明可以被实现为一种视频装置，包括：解码器，被配置为解码编码的视频信号，在视频信号中每帧包括多于一个的图像；以及格式转换器，包括被配置为对在所解码的视频信号中以帧格式交织的各组视频数据进行去交织的格式转换器，其中各组视频数据包括来自第一图像的一组或者更多组视频数据以及来自第二图像的一组或者更多组视频数据。该格式转换器可以包括例如去交织器，该去交织器被配置为从多个交织格式对数据组进行去交织。该格式转换器可以包括例如格式读取器，该格式读取器被配置为确定该数据组的交织格式。该格式转换器可以包括选择装置，该选择装置被配置为基于交织数据组的格式选择算法和专用电子部件之一进行去交织。该格式转换器可以被配置为例如对水平的、垂直的、基于块的和基于映射的交织视频数据组的至少之一进行去交织。
本发明还可以包括上转换器，上转换器被配置为对来自图像至少之一的去交织数据组进行上转换。该上转换数据可以例如被作为2D图像输出。例如，可以以HDMI兼容信号格式化该2D图像。该上转换数据可以包括包含3D图像中的第一视图的第一图像的数据和包含该3D图像的第二视图的第二图像的数据。
视频装置可以是例如蓝光DVD播放器、媒体播放器、机顶盒、电视译码器、计算机视频卡、调谐器或者其它电子装置至少之一的一部分。该解码器可以包括MPEG-2、MPEG-4AVC、VC1以及其它解码器之一。
在另一个实施例中，本发明可以被实现为一种编码系统，包括：子采样器，被配置为对至少两个不同视图的图像进行子采样；格式化器，被配置为从每个视图中选择至少一组图像数据，并且将组交织在视频流的单个图像帧中；以及编码器，被配置为对视频流进行编码。编码器可以包括例如MPEG-4AVC编码器。图像数据组包括例如多于一个像素的组。格式化器可以包括例如奇偶行列选择器，并且交织图像数据组包括包含水平重新布置、垂直重新布置、交织水平重新布置、交织垂直重新布置、块重新布置、交织块重新布置、垂直交织重新布置和水平交织重新布置中至少之一的组
该编码器可以还包括选择装置，该选择装置被配置为选择用于交织该组数据的布置。该编码器还可以包括映射器，该映射器被配置为从所格式化的这两个图像映射数据的布置。
本发明还可以被实现为一种媒体存储器，其具有存储在其上的视频流，其中该视频流包括来自至少两个视图的交织的数据集，当由相应媒体播放器装载和读取时，使播放器解码，然后去交织该视频流，之后，格式化显示装置的视频流。该数据集可以包括例如对应于3D图像的第一视图的多个数据集和对应于该3D图像的第二视图的多个数据集。媒体存储器可以包括存储卡、盘和电磁载体的物理属性至少之一。由存储卡、电磁载体和光盘至少之一的物理特性表示的该媒体存储器的存储内容包括视频流，并且被加密。
本发明又可以被实现为一种视频编码系统，包括：格式化器，被配置为将对应于第一图像的数据的至少一个封装、对应于第二图像的数据的至少一个封装、第一图像的分辨率和动态范围增强至少之一、以及第二图像的分辨率和动态范围增强至少之一格式化到视频流的图像数据帧中；编码器，被配置为将格式化的第一图像数据和增强、第二图像和增强编码到视频流中，以进行存储和广播至少之一。该编码器可以限制子图像根据对应于其它子图像的样本进行预测。该编码器可以限制空间内在先封装的子图像根据对应于其它子图像的样本进行预测。
本发明又可以被实现为一种视频解码系统，包括：解码器，被配置为解码视频流的数据帧，其中该数据帧包括至少两个图像中的图像数据和该图像至少之一的增强；重新格式化器，被配置为重新格式化来自该图像至少之一的解码的图像数据，以产生由该解码的图像数据实现的低分辨率版本的原始图像。该重新格式化器可以包括例如去交织器，该去交织器被配置为对对应于该至少一个图像的数据进行去交织。该重新格式化器可以被进一步配置为丢弃该图像至少之一的第二图像数据和增强至少之一。视频解码系统还可以包括增强器，该增强器被配置为利用该解码的增强中的至少某些来增强该解码图像，并且产生较高分辨率和较高动态范围图像至少之一。该增强可以递进地应用于每个图像，并且在某种程度上，该视频解码系统能够实时地这样做。如果该视频解码系统能够实时地这样做，并且输出显示装置能够显示该增强图像，则该增强可以递进地应用于每个图像。
装置和方法的各部分均可以以在通用计算机、或者网络计算机上进行编程的方式方便地实现，并且结果可以显示在连接到通用计算机、网络计算机的输出装置上，也可以发送到远程装置上来输出和显示。此外，可以以计算机程序、数据序列和/或者控制信号的方式表示的本发明的任何部件都可以由任何频率任何媒体中的电子信号广播(或者发送)来实现，该媒体包括但是并不局限于无线广播、以及通过(各)铜线、(各)光纤线缆或者(各)同轴线缆等的传输。
附图说明
因为当结合附图考虑时，通过参考下面的详细描述，可以更好地理解，所以这样可以更全面理解本发明并且容易地获得其相应优点，其中：
图1是例示根据本发明实施例的棋盘式(CB)复用(multiplexing)格式的图；
图2是例示根据本发明实施例以帧模式对CB数据执行基于变换的去复用的图；
图3是例示根据本发明实施例以场模式对CB数据执行基于变换的去复用的图；
图4是例示根据本发明实施例，在不考虑交叠的情况下的块运动补偿的图；
图5是例示根据本发明实施例以帧模式对CB数据执行基于变换的去复用的图；
图6是根据本发明实施例的视频编码器的图；
图7是根据本发明实施例的视频编解码器的图；
图8是例示根据本发明实施例，依据被编码内容的性质，利用可以被扩展到菱形的正方形块或者其它块的图；
图9是例示根据本发明实施例的梅花形五点采样图像的图；
图10是例示根据本发明实施例，为了提高改善编码效率，水平重新布置和垂直重新布置(格式化)梅花形五点样本的图；
图11是示出根据本发明实施例的水平和垂直“块”重新布置(格式化)梅花形五点样本，以提高编码效率的图；
图12是例示根据本发明实施例，可以对梅花形五点采样数据(也可以扩展到其它采样技术)采用的各种布置的图；
图13是例示根据本发明实施例，对采样数据块进行交织的CB布置的图；
图14是例示根据本发明实施例，指示或者标识交织采样的每个子区域内的布置的布置和映射；
图15是根据本发明实施例的视频编码器的图；以及
图16是根据本发明实施例的视频解码器的图。
具体实施方式
在一个实施例中，本发明扩展MPEG-4AVC标准，以更适当地考虑编码信号的特性，允许提高的编码效率和性能。本发明不仅可以在例如编码器上实现，而且可以在解码器上实现。可以相似地扩展到其它编码/解码标准、方法、装置和/或者系统。应用包括例如蓝光视频盘，并且还可以包括(其它之中)更多宽带约束的广播和下载解决方案。本发明还可以用于可以将当前杜比消费级3D视频编码系统(或者其它3D和/或者多视图系统)提高或者增强到全分辨率的可升级解决方案。
各种实施例中的发明预期主要用于杜比(或者其它)立体(3D)格式视频编码器和解码器中，但是也可以用于其它杜比和/或非杜比的特定设备和/或其它类型的视频(例如，多节目、多视图、多3D视图，或者是单独的或者与其它组合)。应用包括例如蓝光盘、存储卡、广播、卫星和IPTV系统等。
本发明人认识到为了保证在消费者中迅速采用3D技术和其它技术，解决方案应当是这样的解决方案：以对诸如机顶盒、DVD和蓝光盘播放器以及现有能够显示3D画面的显示器的现有播放装置改变最少或者不改变来实现。然而，专门为新格式或者多个格式采用的或者设计的转换器箱、硬件/固件/软件修改、装置和/或显示器也适用于本发明。在不改变播放装置的情况下传送3D内容的一种可能的解决方案是：通过使用棋盘式布置(参见图1)复用两个视图来创建、编码和传送视频内容信息。这种系统可以利用MPEG-4AVC/H.264视频编码标准或者其它标准(例如，微软公司的VC1)来实现。然而，该标准化的编解码器没有考虑到3D编码视频信号的性质，导致不是最理想的编码性能。
特别是，这些编解码器是考虑到渐进(progressive)的或者行交织的(交错的)视频内容(例如，仅渐进的或者交错的视频内容)而设计的，并且包括相应的工具。这些工具包括诸如运动估计、运动补偿、变换和量化的工具。然而，棋盘式交织数据可以具有与渐进内容或者交错的内容非常不同的特性。在本发明的各种实施例中，这些工具被扩展，以正确考虑数据的特性和/或放置数据的布置，从而提高内容(例如，棋盘式格式的内容)的编码效率。
在一个实施例中，通过仅修改要对棋盘式去复用数据应用的变换和量化处理，可以实现棋盘式交织内容的视频编码效率。特别是，如还可以从图2中看出的，在这种情况下，利用传统的不考虑(account for)交叠块的基于块的方法(图4)，进行运动估计和补偿。棋盘式复用数据通常由相似运动特征化的论证可以证明该处理是正确的。
然而，执行了运动补偿或者帧内预测后，在变换和量化之前，对剩余数据进行棋盘式去复用。假定现有编解码器中采用的普通变换方法是正方形或者正交的，则不仅按照不同的视图，而且按照行，不发生这种情况下的去复用。这样会产生4个需要进行变换(例如使用4×4或者8×8的Integer DCT或者其它变换)、量化、之字形扫描和编码的块。在另一个实施例中，对于交错(即，场)图片，可以仅需要执行垂直去复用，因为该数据已经处于适于执行这种操作的布置。可以在序列级、图片级、切片(slice)级、宏块级或者块级信令化该处理。还可以适当设计量化的系数的扫描顺序，以考虑水平轴和垂直轴上的频率差。特别是，对于场内容，给定水平频率和垂直频率之间的差，变换的系数的扫描顺序通常垂直地偏置。然而，如果我们引入新编码布置，则不需要进行这种修改，并且仍使用正常(例如，之字形)扫描顺序。
在可替选实施例中，以与考虑内容的特性的方式相似，除了变换，还修改该运动估计和补偿处理。更具体地，将参考数据和源数据二者重新布置到多个组中，每个组根据视图和奇偶性将数据分离。这样基本上会获得四(4)种不同的布置(例如，偶数/上或者奇数/下左视图和右视图)。这在包括参考图像去交织结果的实施例的示例的图5中可以看出，包括：顺时针方向，以左上方框开始，从左视图图片的偶数行(或者CBLT(左上))起的一组“x”、从左视图的奇数行(或者CBLB(左下))起的一组“x”、从右视图图片的偶数行(或者CBRT(右上))起的一组“o”、右视图图片的奇数行(或者CBRT(右下))的一组“o”。还对源图像例示以匹配格式去交织。
来自该源的每个布置都可以与用于预测的参考数据的任一个布置匹配，该预测可以包括帧内预测和帧间预测。在该源数据被预测后，剩余数据也以相同的布置被变换、量化和编码。可以认为该处理与如何执行交错编码非常相似，在交错编码中，数据被布置到奇场/行和偶场/行数据中。然而，在本发明中，数据还被进一步布置到奇列和偶列。与我们的变换方法(可以单独使用，也可以与其它技术组合使用)相似，该方法可以被信令化，以在序列级、图片级、切片级、宏块级或者块级使用。
例如，图片级方法可以被看作对4个不同图片CBLT、CBLB、CBRT和CBRB进行编码。这四个图片可以参考缓冲器中可用的任何先前编码的图片。因为显而易见的原因，根据这些图片的布局，偏置默认参考列表顺序，即，CBLT图片会赋予先前CBLT图片更高的优先级，CBLB图片将赋予先前CBLB图片更高的优先级，等。可以利用现有编码工具，即AVC，编码每个这种图片。当所有图片均被解码时，在帧缓冲器中重新组合它们，以将它们进一步处理为棋盘式图像。如果不行，则采用现有的例如递进的或者交错的编码方法，诸如MPEG-4AVC或者VC1中已经可用的编码方法。应当注意：信令化的各种方法使得在图片级、切片级和宏块级或/和块级处我们的方法与传统方法的组合能够与MPEG-4AVC中已经存在的用于交错编码的方法相似。
在又一个实施例中，仅在同一组的像素上应用采用这种方法对像素数据的去块化。在图6和图7中分别可以看到采用这种方法的编码器和解码器。
在附加实施例中，如果代替利用正方形或者正交块进行预测、变换和量化，而给出内容特性，则我们可以不考虑菱形块(参见图8，在图8中，示出了典型右视图图片的暗/红“o”像素分量(菱形的)和典型左视图图片的直接位于每个暗/红“o”像素分量下面的非暗的“x”像素分量(也是菱形的))。即，现在，利用大小为N×M的菱形块，应用运动估计和补偿，而通过首先将剩余数据旋转适当角度(例如，45度)，利用正方形变换(square transform)或者正交变换可以执行该剩余数据的变换。在这种情况下，对该菱形块数据的边缘执行去块化。此外，通过适当地填充数据处理图像边界。在次，该方法可以应用于序列级、图片级、切片级、宏块级或者块级，并且该方法可以与前面描述的任何方法组合。然而，主要因为复杂性和性能的原因，优选地，主要在序列级或者图片级考虑该方法。
在又一个实施例中，上述方法中的任何一种方法都可以用于不仅编码棋盘式交织图像，而且编码棋盘式交织图像的剩余数据，或者利用周期性正方形平铺方法(periodic square tiling method)，组合被交织的四个图像。
本发明可以被配置为视频编码系统的扩展，视频编码系统诸如基于MPEG-4AVC的视频编码系统。
显然，根据上面的教导，可以设想本发明的许多修改和变型。因此，应当明白，在随后提交的实用专利申请所包括的权利要求书的范围内，除非在此具体描述，可以实现本发明。
再参考附图，其中相同的附图标记指相同或者相应的部分，并且特别是对于其图9，示出了一种用于图像和数据的采样方法，被称为梅花形五点采样。在梅花形五点采样中，以梅花形五点布置对数据进行采样，如图9所示。与水平和/或者垂直采样不同，这种方法的好处是，在采样过程中，仅丢失～30％的信息，这样在重构该信号期间，可以实现高质量。例如，该方法可以用于产生要被复用在图1所示CB交织图片中的样本。在这种情况下，例如，梅花形五点采样被部分地用于压缩3D图像。更具体地，首先梅花形五点采样3D图像的两个视图，然后，在利用编解码器(例如，诸如MPEG－2、MPEG－4AVC和VC－1等的现有编解码器)进行压缩之前，利用棋盘式布置对其进行交织。
尽管我们已经说明，可以压缩梅花形五点采样的数据，但是不幸的是，现有压缩算法的设计不佳，并且在某种程度上，它是处理其特性的次优选择。本发明包括用于编码这种内容的不同方法，其允许采用现有设施，而实现改善的编码效率和性能。这可以通过对更适合该内容特性(和编码机制)的梅花形五点采样的数据执行各种重新布置实现。
特别地，我们观察到：梅花形五点采样可以以奇数和偶数列(或者行)数据的方式分离。如果单独看，即使其频率特性可以稍许不同，奇数列数据仍与标准图像具有相似的特性。这同样适用于偶数列数据。因此，我们可以将梅花形五点采样的图像分离为两个子图像，即，奇数列子图像和偶数列子图像。这些子图像含有与诸如亮度和色度信息、透明度和深度信息等的数据相关的全部信息。显然，对于可扩展的图像系统，每个子图像还会含有诸如SNR层的全部相关可伸缩性信息。
即使我们可以分别编码每个子图像，也期望某些环境和/或应用仍使子图像作为单个图像保持在一起。例如，可能的方法是：垂直(图10a)封装或者垂直(图10b)封装该两个子图像。然而，对于某些其它应用，还可以考虑将这两个子图像交织(图11)。该交织量可以被固定或者自适应调整，并且可以取决于我们的系统或者体系结构可能具有的各种要求。例如，如果压缩比较重要，则交织被可以保持最小，因此，在压缩(例如，采用离散余弦变换/DCT和量化、预测等)期间，可以较好地利用信号特性。然而，如果包括存储器存取的数据的重构比较重要，则在两个视图之间可以采用一些交织。例如，代替保持利用原始梅花形五点布置封装的数据，可以根据数据的梅花形五点奇偶性(奇或偶)将它们封装到N×M的矩形块中。在这两种最极端的情况下，{N＝1,M＝1}和{N＝宽度/2,M＝高度/2}，其中宽度和高度是原始非采样图像的宽度和高度。可以以各种方式布置这些矩形块，诸如水平布置的4×2大小的块(图11a)，或者垂直布置的2×2大小的块(图11b)。在特定例子中，假设大多数现有视频和图像编解码器利用16×16大小的块进行预测，则也可以采用这种块大小，或者采用比该大小大的块大小(例如，32×32、32×48、48×48等)。请注意，在这种布置中，即使该要求不是必要的，仍可以期望保持分辨率之一与原始非采样图像的分辨率相同。
如前面讨论的，梅花形五点采样数据的特殊情况是用于3D应用。在这种情况下，两个立体图像被首先梅花形五点采样，然后，它们被交织在一起，以生成单个立体图像。代替仅利用像素级棋盘式布置交织这些图像(例如，如图1所示)，采用上面描述的交织方法更好地分离这两个图像，因此，更好地利用现有工具进行压缩。更具体地说，我们现在可以将左视图和右视图分离为左奇(Lo)、左偶(Le)、右奇(Ro)和右偶(Re)数据(Lo|Le|Ro|Re)。
在一个实施例中，每组数据表现不同的子图像。在Lo|Le|Ro|Re的情况下，这四个子图像可以以各种布置平铺在一起，例如，如图12中所示(也可以采用布置的图像的不同大小和其它布置)。然后，该平铺的图像表示现在可以使用现有的或者新开发的编码算法进行编码的新图像。例如，我们可以以如图12所示的Lo|Le|Ro|Re帧布置方式，或者以类似帧级布置B的棋盘式方式(Lo|Ro|Re|Le)，布置这四个子图像。也可以全部以水平或者垂直子图像布置方式(布置D和E)，布置该子图像。也可以是其它布置。布置类型可以取决于应用及其要求。例如，布置A的好处是：可以独立于其它视图立即对一个视图重构所有样本，特别是在要求重构为全分辨率的情况下；而方法B的好处是：将梅花形五点数据重新组织为其它布置。
在不同实施例中，交织可以不考虑单个样本或者整个子图像，而再一次考虑样本组，该样本组基本上包括矩形甚或任意的块/区域。例如，如上所讨论的，块也可以是固定大小M×N(图13)，或者图像可以由不同形状和/或大小的块构成。通过例如诸如映射的元数据方法，可以将这种布置信令化。该映射可以对整个视频序列固定，或者可以是自适应的，以及在需要时被信令化。作为例子，在图14中，提供了这样的映射：该映射提供如何按照交织组织大小为4×4的子块的信息。同样的对应关系可以应用于与像素相关的所有样本，例如，亮度和色度信息、透明度、深度/遮挡信息等，但是也可以采用不同的布置，包括存在特定组或者每种不同类型信息的多个/分离映射。该分离还可以包括不同图像表示或者不同图像层(例如，SNR、位深度等)。
在另一个实施例中，上述方法中的任何一种都不仅可以被用于编码棋盘式交织图像，并且可以被用于编码棋盘式交织图像的剩余数据，也可以编码使用周期性正方形平铺方法交织的任何图像的组合。该方法还可以容易地扩展到包括深度/遮挡信息的多个图像(超过2个)的交织。最后，所建议的交织方法不仅可以在编码图像时使用，而且可以用于生成可以用于运动补偿视频编码环境的预测图像。
图15示出采用格式转换器的编码器，该格式转换器将梅花形五点采样的图像或者立体对转换为适当格式。图16示出相应解码器，该解码器解码该图像，并且将该格式转换为可能是为了显示或者为了其它处理而需要的不同格式。
因此，本发明可以取很多形式。下面提供了一组列举的示例性实施例(EEE)。它们是作为例子提供的本发明的示例形式。因为这种EEE不应当被看作对上述任何讨论或者下面提供的任何一项权利要求，或者对任何后续继续中、重发行、或者外国对应专利和/或者专利申请构成限制。例子有：
EEE1.一种方法，包括步骤：
子采样n个图像；
将每个采样的图像分离为子图像；以及
将子图像一起封装在图像帧中；以及
通过视频编码器对该单个图像帧进行编码。
EEE2.根据EEE1所述的方法，其中该子采样步骤包括梅花形五点采样。
EEE3.根据EEE1所述的方法，其中该图像包括3D图像的左视图和右视图、同一个场景的多个视图以及多个图像中至少之一。
EEE3A.根据EEE3所述的方法，其中该图像包括深度和遮挡信息之一。
EEE4.根据EEE1所述的方法，其中子图像包括其特性与标准图像相似的图像内的数据。
EEE5.根据EEE1所述的方法，其中分离步骤包括基于行和基于列至少之一分离采样图像。
EEE6.根据EEE1所述的方法，其中子图像包括来自图像之一的一组多于一个的像素。
EEE7.根据EEE1所述的方法，其中子图像包括从相应图像通过模式选择的数据。
EEE8.根据EEE1所述的方法，其中分离步骤包括从采样图像中的每个采样图像准备多个块的邻近数据。
EEE9.根据EEE1所述的方法，其中封装步骤包括以预定格式交织子图像。
EEE10.根据EEE9所述的方法，其中预定格式基于图像、采样图像和分离的图像样本至少之一自适应地改变。
EEE11.根据EEE1所述的方法，还包括编码标识该预定格式的映射的步骤。
EEE11B.根据EEE11所述的方法，其中在图像帧的区域中，编码该映射，并且在图像帧的其它区域中，执行子图像的封装。
EEE12.根据EEE11所述的方法，其中该映射被编码为边信息。
EEE13.根据EEE9所述的方法，其中该交织包括水平交织、垂直交织和矩形块交织之一。
EEE14.根据EEE1所述的方法，其中子采样步骤包括梅花形五点采样，分离步骤包括使用子采样图像的每个其它行和每个其它列之一准备子图像，并且封装步骤包括布置基于行和基于列的子图像之一。
EEE15.根据EEE1所述的方法，还包括编码子图像在图像帧内的布置的标识符的步骤。
EEE16.根据EEE1所述的方法，还包括编码子图像的布置的标识符的步骤，其中该标识符是放置在该编码的模式块的边信息中的代码。
EEE17.根据EEE1所述的方法，其中封装包括上面描述的模式的至少之一。
EEE18.根据EEE1所述的方法，其中该封装维持至少一个尺寸等于子采样图像之一的尺寸。
EEE19.根据EEE1所述的方法，其中封装包括为有效使用要用于解码该编码图像的资源而选择的封装格式。
EEE19B.根据EEE1所述的方法，其中封装包括为了允许包括SNR/分辨率可伸缩性和2D至3D可伸缩性的高级可伸缩性特征，而选择的封装格式。
EEE19C.根据EEE19B所述的方法，其中基于诸如处理能力的可用资源选择该封装格式。
EEE20.根据EEE1所述的方法，其中该封装包括维持具有高值的像素，以解码/上采样互相非常靠近的每个[子图像]。
EEE21.根据EEE1所述的方法，其中编码步骤包括诸如JPEG、JPEG-2000、类MPEG－2、MPEG－4AVC和VC1编码的任何一个图像或者视频编码系统。
EEE22.一种视频装置，包括：
解码器，被配置为解码编码的视频信号，在视频信号中每帧包括多于一个的图像；
格式转换器，包括被配置为对在所解码的视频信号中以帧格式交织的各组视频数据进行去交织的格式转换器，其中各组视频数据包括来自第一图像的一组或者更多组视频数据以及来自第二图像的一组或者更多组视频数据。
EEE23.根据EEE22所述的视频装置，其中该格式转换器包括被配置为从多个交织格式对所述数据组进行去交织的去交织器。
EEE24.根据EEE22所述的视频装置，其中该格式转换器包括格式读取器，该格式读取器被配置为确定该数据组的交织格式。
EEE25.根据EEE22所述的视频装置，其中该格式转换器包括选择装置，该选择装置被配置为基于交织数据组的格式，选择算法和专用电子部件之一，以进行去交织。
EEE26.根据EEE22所述的视频装置，其中该格式转换器被配置为对水平的、垂直的、基于块的和基于映射的交织视频数据组的至少之一进行去交织。
EEE27.根据EEE22所述的视频装置，还包括上转换器，该上转换器被配置为对来自所述图像至少之一的去交织数据组进行上转换。
EEE28.根据EEE27所述的视频装置，其中上转换数据被作为2D图像输出。
EEE29.根据EEE28所述的视频装置，其中以HDMI兼容信号格式化该2D图像。
EEE30.根据EEE27所述的视频装置，其中该上转换数据包括包含3D图像的第一视图的第一图像的数据和包含该3D图像的第二视图的第二图像的数据。
EEE31.根据EEE22所述的视频装置，其中该视频装置是蓝光DVD播放器、媒体播放器、机顶盒、电视译码器、计算机视频卡、调谐器或者其它电子装置的至少之一的部分。
EEE32.根据EEE22所述的视频装置，其中解码器包括MPEG-2、MPEG-4AVC、VC1以及其它解码器之一。
EEE33.一种编码系统，包括：
子采样器，被配置为对至少两个不同视图的图像进行子采样；
格式化器，被配置为从每个视图中选择至少一组图像数据，并且将该组交织在视频流的单个图像帧中；以及
编码器，被配置为对视频流进行编码。
EEE34.根据EEE33所述的编码系统，其中该编码器包括MPEG-4AVC编码器。
EEE35.根据EEE33所述的编码系统，其中该组图像数据包括多于一个像素的组。
EEE36.根据EEE33所述的编码系统，其中格式化器包括奇偶行列选择器，并且交织图像数据组包括包含水平重新布置、垂直重新布置、交织水平重新布置、交织垂直重新布置、块重新布置、交织块重新布置、垂直交织重新布置和水平交织重新布置中至少之一的组。
EEE37.根据EEE33所述的编码器，还包括选择装置，该选择装置被配置为选择用于交织该组数据的布置。
EEE38.根据EEE33所述的编码器，还包括被配置为从所格式化的两个图像映射数据的布置的映射器。
EEE39.一种媒体存储器，具有存储在其上的视频流，其中该视频流包括来自至少两个视图的交织的数据集，当由相应媒体播放器装载和读取时，使播放器解码，然后去交织该视频流，之后，格式化显示装置的视频流。
EEE40.根据EEE39所述的媒体存储器，其中该数据集包括对应于3D图像的第一视图的多个数据集和对应于该3D图像的第二视图的多个数据集。
EEE41.根据EEE39所述的媒体存储器，其中该媒体存储器包括存储卡、盘和电磁载体的物理属性至少之一。
EEE42.根据EEE39所述的媒体存储器，其中存储卡、电磁载体和光盘至少之一的物理特性表示的该媒体存储器的存储内容包括视频流，并且被加密。
EEE43.一种视频编码系统，包括：
格式化器，被配置为将对应于第一图像的数据的至少一个封装、对应于第二图像的数据的至少一个封装、第一图像的分辨率和动态范围增强至少之一、以及第二图像的分辨率和动态范围增强至少之一格式化到视频流的图像数据帧中；
编码器，被配置为将格式化的第一图像数据和增强、第二图像和增强编码到视频流中，以进行存储和广播至少之一。
EEE44.根据EEE43所述的视频编码系统，其中该编码器限制子图像根据对应于其它子图像的样本进行预测。
EEE45.根据EEE43所述的视频编码系统，其中该编码器限制空间内在先封装的子图像根据对应于其它子图像的样本进行预测。
EEE46.一种视频解码系统，包括：
解码器，被配置为解码视频流的数据帧，其中该数据帧包括至少两个图像中的图像数据和该图像至少之一的增强；
重新格式化器，被配置为重新格式化来自该图像至少之一的解码的图像数据，以产生由该解码的图像数据实现的低分辨率版本的原始图像。
EEE47.根据EEE46所述的视频解码系统，其中该重新格式化器包括去交织器，该去交织器被配置为对对应于该至少一个图像的数据进行去交织。
EEE48.根据EEE46所述的视频解码系统，其中该重新格式化器被进一步配置为丢弃该图像至少之一的第二图像数据和增强至少之一。
EEE49.根据EEE46所述的视频解码系统，还包括增强器，该增强器被配置为利用该解码的增强中的至少某些来增强该解码图像，并且产生较高分辨率和较高动态范围图像至少之一。
EEE50.根据EEE49所述的视频解码系统，其中该增强递进地应用于每个图像，并且在某种程度上，该视频解码系统能够实时地这样做。
EEE60.根据EEE49所述的视频解码系统，其中如果该视频解码系统能够实时地这样做，并且输出显示装置能够显示该增强图像，则该增强递进地应用于每个图像。
在描述附图所示的本发明的优选实施例时，为了清楚起见，采用了特定术语。然而，本发明无意局限于这样选择的特定术语，并且应该明白，每个特定单元均包括以相同方式工作的全部等同技术。例如，当描述交织技术(例如，块、垂直、视频等)时，任何其它等同交织、或者所列交织的变型、或者亦解决在此讨论的相同问题的完全不同的交织方式可以代替。此外，本发明认为，现在未知的新开发的技术也可以代替所描述的本发明的一个或者多个部分，并且也不脱离本发明的范围。还应当根据任何一项或者全部可用等同，理解所描述的所有其它用语，包括但是并不局限于解码器、采样、交织、解码器、映射、模式/布置/格式等。
利用根据本公开的教导编程的传统通用或者专用数字计算机或者微处理器，可以方便地实现本发明的各部分，并且对于计算机技术领域内的技术人员是显而易见的。
根据本公开的教导，熟练程序员可以轻而易举地准备正确的软件编码，并且对于软件技术领域内的技术人员是显而易见的。本发明还可以通过准备专用集成电路或者通过将传统部件电路的适当网络互连来实现，并且对于基于本公开的技术领域内的技术人员是显而易见的。
本发明包括计算机程序产品，它是其上存储了可以用于控制、或者使计算机执行本发明的各种处理中的任何一种处理的指令的(各)存储介质。该存储介质可以包括，但是并不局限于：任何类型的盘，包括软盘、迷你盘(MD)、光盘、DVD、HD-DVD、蓝光、CD-ROM、CD或者DVD RW+/－、微型硬盘和磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、快擦洗存储器器件(包括闪速存储卡、存储棒)、磁卡或者光学卡(optical card)、SIM卡、MEMS、纳米系统(包括分子存储器IC)、RAID装置、远程数据存储/档案/仓库(warehousing)、或者适于存储指令和/或者数据的任何类型的介质或者装置。
存储在(各)计算机可读介质中任一个上的内容，本发明包括用于控制通用计算机/专用计算机或者微处理器，并且用于使该计算机或者微处理器与采用本发明的成果的用户或者其它机构交互的软件。这种软件可以包括，但是并不局限于：设备驱动器、操作系统和用户应用程序。最后，这种计算机可读介质还包括用于执行本发明的软件，如上所述。
通用/专用计算机或者微处理器的程序(软件)中包括的是，用于实现本发明教导的内容的软件模块，包括但是并不局限于，采样、识别子图像、布置子图像、编码与交织方案相关的任何形式的边信息或者与本发明相关的子图像、解码之后重新格式化、以及显示、存储或者传送根据本发明的处理结果。
本发明可以适当包括、包含或者基本上含有在此描述的任何单元(本发明的各部分或者特征)及其等同。此外，在此说明性披露的本发明可以在没有任何单元的情况下实施，无论是否是在此具体披露。显然，根据上面的教导，可以对本发明进行许多修改和变型。因此，应当明白，在所附权利要求书的范围内，在在此所做的具体描述之外，可以实施本发明。

Claims (11)

1.一种用于利用计算机解码视频帧的序列的方法，所述方法包括：
接收输入视频帧，所述输入视频帧包括按照交织布置的两个分离图像；
访问第一边信息，所述第一边信息指示所述输入帧的所述交织布置的采样格式；
访问第二边信息，所述第二边信息指示所述输入帧的按照所述交织布置的所述两个分离图像的像素的布置；以及
生成第一输出图像和第二输出图像，其中，生成所述第一输出图像和所述第二输出图像包括：
如果所述第一边信息指示梅花形五点采样格式且所述第二边信息指示垂直布置，则
将所述输入视频帧划分为左上半部图像、左下半部图像、右上半部图像和右下半部图像；
基于所述左上半部图像和所述左下半部图像的像素生成所述第一输出图像，其中，所述左上半部图像表示所述第一输出图像的奇数行和奇数列的样本，且所述左下半部图像表示所述第一输出图像的偶数行和偶数列的样本；以及
基于所述右上半部图像和所述右下半部图像的像素生成所述第二输出图像，其中，所述右上半部图像表示所述第二输出图像的奇数行和偶数列的样本，且所述右下半部图像表示所述第二输出图像的偶数行和奇数列的样本。
2.根据权利要求1所述的方法，还包括：
如果所述第一边信息指示梅花形五点采样格式且所述第二边信息指示水平布置，则
将所述输入视频帧划分为左上半部图像、左下半部图像、右上半部图像和右下半部图像；
基于所述左上半部图像和所述右上半部图像的像素生成所述第一输出图像，其中，所述左上半部图像表示所述第一输出图像的奇数行和偶数列的样本，且所述右上半部图像表示所述第一输出图像的偶数行和偶数列的样本；以及
基于所述左下半部图像和所述右下半部图像的像素生成所述第二输出图像，其中，所述左下半部图像表示所述第二输出图像的奇数行和偶数列的样本，且所述右下半部图像表示所述第二输出图像的偶数行和奇数列的样本。
3.根据权利要求1所述的方法，还包括：
如果所述第一边信息指示梅花形五点采样格式且所述第二边信息指示对角线布置，则
将所述输入视频帧划分为左上半部图像、左下半部图像、右上半部图像和右下半部图像；
基于所述左上半部图像和所述右下半部图像的像素生成所述第一输出图像，其中，所述左上半部图像表示所述第一输出图像的奇数行和奇数列的样本，且所述右下半部图像表示所述第一输出图像的偶数行和偶数列的样本；以及
基于所述右上半部图像和所述左下半部图像的像素生成所述第二输出图像，其中，所述右上半部图像表示所述第二输出图像的奇数行和偶数列的样本，且所述左下半部图像表示所述第二输出图像的偶数行和奇数列的样本。
4.根据权利要求1所述的方法，其中，所述第一边信息或所述第二边信息被基于所述视频帧的特性适应性地改变。
5.根据权利要求1所述的方法，其中，所述第一边信息或所述第二边信息被在序列级、图片级或切片级适应性地改变。
6.一种用于将多视图帧的序列编码为比特流的方法，所述方法包括：
接收第一视图图像和第二视图图像；
采样所述第一视图图像的奇数行和奇数列，以生成封装的视频帧的第一子图像；
采样所述第一视图图像的偶数行和偶数列，以生成所述封装的视频帧的第二子图像；
采样所述第二视图图像的奇数行和偶数列，以生成所述封装的视频帧的第三子图像；
采样所述第二视图图像的偶数行和奇数列，以生成所述封装的视频帧的第四子图像；
生成所述封装的视频帧的第一边信息，所述第一边信息指示交织的第一视图图像和第二视图图像的梅花形五点采样格式；以及
生成所述封装的视频帧的第二边信息，所述第二边信息指示所述第一、第二、第三和第四子图像如何被平铺在一起以形成所述封装的视频帧。
7.根据权利要求6所述的方法，其中，所述封装的视频帧包括四个平铺部分，其中
左上半部平铺部分包括所述第一子图像，
左下半部平铺部分包括所述第二子图像，
右上半部平铺部分包括所述第三子图像，
右下半部平铺部分包括所述第四子图像，以及
所述第二边信息指示垂直布置。
8.根据权利要求6所述的方法，其中，所述封装的视频帧包括四个平铺部分，其中，
左上半部平铺部分包括所述第一子图像，
右上半部平铺部分包括所述第二子图像，
左下半部平铺部分包括所述第三子图像，
右下半部平铺部分包括所述第四子图像，以及
所述第二边信息指示水平布置。
9.根据权利要求6所述的方法，其中，所述封装的视频帧包括四个平铺部分，其中，
左上半部平铺部分包括所述第一子图像，
右下半部平铺部分包括所述第二子图像，
右上半部平铺部分包括所述第三子图像，
左下半部平铺部分包括所述第四子图像，以及
所述第二边信息指示对角线布置。
10.根据权利要求6所述的方法，其中，所述第一边信息或所述第二边信息被基于所述第一视图图像和所述第二视图图像的特性适应性地改变。
11.根据权利要求6所述的方法，其中，所述第一边信息或所述第二边信息被在序列级、图片级或切片级适应性地改变。
CN201510111781.6A 2009-01-29 2010-01-28 解码视频帧的序列的方法、编码多视图帧的序列的方法 Expired - Fee Related CN104780384B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14805109P 2009-01-29 2009-01-29
US61/148,051 2009-01-29
CN201080006265.2A CN102301715B (zh) 2009-01-29 2010-01-28 视频编码方法、视频装置和编码系统

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201080006265.2A Division CN102301715B (zh) 2009-01-29 2010-01-28 视频编码方法、视频装置和编码系统

Publications (2)

Publication Number Publication Date
CN104780384A true CN104780384A (zh) 2015-07-15
CN104780384B CN104780384B (zh) 2018-01-16

Family

ID=42076914

Family Applications (10)

Application Number Title Priority Date Filing Date
CN201510890688.XA Active CN105357510B (zh) 2009-01-29 2010-01-28 视频编码方法、视频信号解码方法及视频装置
CN201510892218.7A Active CN105407341B (zh) 2009-01-29 2010-01-28 视频装置
CN201510111792.4A Expired - Fee Related CN104780385B (zh) 2009-01-29 2010-01-28 视频装置、用于将多视图帧的序列编码为比特流的装置
CN201080006265.2A Active CN102301715B (zh) 2009-01-29 2010-01-28 视频编码方法、视频装置和编码系统
CN201510894027.4A Active CN105376549B (zh) 2009-01-29 2010-01-28 视频编码方法及解码视频信号的方法
CN201510889467.0A Active CN105357533B (zh) 2009-01-29 2010-01-28 视频编码方法及视频装置
CN201510890690.7A Active CN105472369B (zh) 2009-01-29 2010-01-28 视频装置
CN201510889464.7A Active CN105357509B (zh) 2009-01-29 2010-01-28 视频编码方法、视频信号解码方法及视频装置
CN201510890616.5A Active CN105357534B (zh) 2009-01-29 2010-01-28 视频编码方法及解码视频信号的方法
CN201510111781.6A Expired - Fee Related CN104780384B (zh) 2009-01-29 2010-01-28 解码视频帧的序列的方法、编码多视图帧的序列的方法

Family Applications Before (9)

Application Number Title Priority Date Filing Date
CN201510890688.XA Active CN105357510B (zh) 2009-01-29 2010-01-28 视频编码方法、视频信号解码方法及视频装置
CN201510892218.7A Active CN105407341B (zh) 2009-01-29 2010-01-28 视频装置
CN201510111792.4A Expired - Fee Related CN104780385B (zh) 2009-01-29 2010-01-28 视频装置、用于将多视图帧的序列编码为比特流的装置
CN201080006265.2A Active CN102301715B (zh) 2009-01-29 2010-01-28 视频编码方法、视频装置和编码系统
CN201510894027.4A Active CN105376549B (zh) 2009-01-29 2010-01-28 视频编码方法及解码视频信号的方法
CN201510889467.0A Active CN105357533B (zh) 2009-01-29 2010-01-28 视频编码方法及视频装置
CN201510890690.7A Active CN105472369B (zh) 2009-01-29 2010-01-28 视频装置
CN201510889464.7A Active CN105357509B (zh) 2009-01-29 2010-01-28 视频编码方法、视频信号解码方法及视频装置
CN201510890616.5A Active CN105357534B (zh) 2009-01-29 2010-01-28 视频编码方法及解码视频信号的方法

Country Status (7)

Country Link
US (12) US9025670B2 (zh)
EP (2) EP3226559A1 (zh)
JP (1) JP5406942B2 (zh)
KR (1) KR101405019B1 (zh)
CN (10) CN105357510B (zh)
HK (9) HK1211763A1 (zh)
WO (1) WO2010088420A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408641A (zh) * 2016-09-19 2017-02-15 上海玮舟微电子科技有限公司 一种图像数据的缓存方法和装置
CN108419068A (zh) * 2018-05-25 2018-08-17 张家港康得新光电材料有限公司 一种3d图像处理方法和装置

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
JP4546246B2 (ja) 2002-10-05 2010-09-15 デジタル ファウンテン， インコーポレイテッド 連鎖的暗号化反応の系統的記号化および復号化
CN1954501B (zh) 2003-10-06 2010-06-16 数字方敦股份有限公司 通过通信信道接收从源发射的数据的方法
CN103124182B (zh) 2004-05-07 2017-05-10 数字方敦股份有限公司 文件下载和流系统
CN101686107B (zh) 2006-02-13 2014-08-13 数字方敦股份有限公司 使用可变fec开销和保护周期的流送和缓冲
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
WO2007134196A2 (en) 2006-05-10 2007-11-22 Digital Fountain, Inc. Code generator and decoder using hybrid codes
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
EP2203836A4 (en) 2007-09-12 2014-11-05 Digital Fountain Inc GENERATING AND COMMUNICATING SOURCE IDENTIFICATION INFORMATION TO ENABLE RELIABLE COMMUNICATIONS
WO2010039417A1 (en) 2008-09-23 2010-04-08 Dolby Laboratories Licensing Corporation Encoding and decoding architecture of checkerboard multiplexed image data
KR101405019B1 (ko) 2009-01-29 2014-06-11 돌비 레버러토리즈 라이쎈싱 코오포레이션 다중 이미지들，예를 들면 스테레오스코픽을 서브―샘플링 및 인터리빙하기 위한 방법들 및 디바이스들
EP2420068A4 (en) * 2009-04-13 2012-08-08 Reald Inc ENCRYPTION, DECOMPOSITION AND DISTRIBUTION OF STEREOSCOPIC VIDEO CONTENT WITH REINFORCED RESOLUTION
CN102450010A (zh) * 2009-04-20 2012-05-09 杜比实验室特许公司 定向内插和数据后处理
US9270871B2 (en) 2009-04-20 2016-02-23 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US9218644B2 (en) * 2009-12-17 2015-12-22 Broadcom Corporation Method and system for enhanced 2D video display based on 3D video input
WO2011094019A1 (en) * 2010-01-29 2011-08-04 Thomson Licensing Block-based interleaving
US9225961B2 (en) 2010-05-13 2015-12-29 Qualcomm Incorporated Frame packing for asymmetric stereo video
FR2962291B1 (fr) * 2010-07-01 2012-08-24 St Microelectronics Grenoble 2 Procede de traitement d'images 3d, et systeme correspondant
JP5693716B2 (ja) * 2010-07-08 2015-04-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 参照処理信号を使った多層画像およびビデオ送達のためのシステムおよび方法
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9438881B2 (en) * 2010-07-19 2016-09-06 Dolby Laboratories Licensing Corporation Enhancement methods for sampled and multiplexed image and video data
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US8806050B2 (en) 2010-08-10 2014-08-12 Qualcomm Incorporated Manifest file updates for network streaming of coded multimedia data
US8537201B2 (en) 2010-10-18 2013-09-17 Silicon Image, Inc. Combining video data streams of differing dimensionality for concurrent display
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
FR2974966A1 (fr) * 2011-05-05 2012-11-09 France Telecom Procede de codage et de decodage d'images integrales, dispositif de codage et de decodage d'images integrales et programmes d'ordinateur correspondants
US11496760B2 (en) 2011-07-22 2022-11-08 Qualcomm Incorporated Slice header prediction for depth maps in three-dimensional video codecs
US9521418B2 (en) 2011-07-22 2016-12-13 Qualcomm Incorporated Slice header three-dimensional video extension for slice header prediction
WO2013014177A1 (en) * 2011-07-25 2013-01-31 Sony Corporation In-painting method for 3d stereoscopic views generation
US9288505B2 (en) 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US8958642B2 (en) 2011-10-19 2015-02-17 Electronics And Telecommunications Research Institute Method and device for image processing by image division
US9485503B2 (en) 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
JP5849681B2 (ja) * 2011-12-16 2016-02-03 富士通株式会社 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、及び復号プログラム
US9106894B1 (en) * 2012-02-07 2015-08-11 Google Inc. Detection of 3-D videos
CN102595164A (zh) 2012-02-27 2012-07-18 中兴通讯股份有限公司 一种视频图像发送方法、装置及系统
US9674499B2 (en) * 2012-08-15 2017-06-06 Qualcomm Incorporated Compatible three-dimensional video communications
US9743064B2 (en) * 2012-09-11 2017-08-22 The Directv Group, Inc. System and method for distributing high-quality 3D video in a 2D format
KR101483052B1 (ko) * 2013-07-11 2015-01-16 연세대학교 산학협력단 3d 동영상을 코딩/디코딩하기 위한 장치 및 그 방법
CN103702172A (zh) * 2013-12-13 2014-04-02 乐视网信息技术（北京）股份有限公司 对音视频进行杜比转码的方法和系统
US10194163B2 (en) 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
US9713982B2 (en) 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery
US9939253B2 (en) * 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US10057593B2 (en) * 2014-07-08 2018-08-21 Brain Corporation Apparatus and methods for distance estimation using stereo imagery
US10979689B2 (en) * 2014-07-16 2021-04-13 Arris Enterprises Llc Adaptive stereo scaling format switch for 3D video encoding
US10055850B2 (en) 2014-09-19 2018-08-21 Brain Corporation Salient features tracking apparatus and methods using visual initialization
AU2016292954A1 (en) 2015-07-15 2017-08-17 Blinxel Pty Ltd "system and method for image processing"
US10197664B2 (en) 2015-07-20 2019-02-05 Brain Corporation Apparatus and methods for detection of objects using broadband signals
US10034026B2 (en) 2016-04-22 2018-07-24 Akila Subramaniam Device for and method of enabling the processing of a video stream
EP3249929A1 (en) 2016-05-25 2017-11-29 Thomson Licensing Method and network equipment for establishing a manifest
EP3485639A4 (en) * 2016-07-18 2020-03-04 Glide Talk, Ltd. SYSTEM AND METHOD FOR PROVIDING OBJECT-ORIENTED ZOOM IN MULTIMEDIA MESSAGING
CN110870302B (zh) 2017-07-03 2021-06-29 诺基亚技术有限公司 用于全向视频的装置、方法和计算机程序
CN107592539B (zh) * 2017-08-21 2019-10-22 北京奇艺世纪科技有限公司 一种视频编码方法和装置
EP3474550A1 (en) * 2017-10-20 2019-04-24 Thomson Licensing Stereo omnidirectional frame packing
US11729442B2 (en) * 2017-12-29 2023-08-15 Sling Media L.L.C. Multiplexed place shifting device
CN110503928B (zh) * 2018-05-18 2021-09-07 晶典有限公司 为具有可配置多电极像素的光调制底板产生五点形视频流
CN111372038B (zh) * 2018-12-26 2021-06-18 厦门星宸科技有限公司 多串流影像处理装置及方法
US11323731B2 (en) * 2019-03-08 2022-05-03 Tencent America LLC Method and apparatus for video coding
CN111683216A (zh) * 2020-05-25 2020-09-18 福建云视听信息科技有限公司 一种交织模式下隔行视频处理方法、系统、设备及介质
CN112911336A (zh) * 2021-01-15 2021-06-04 武汉兴图新科电子股份有限公司 用于云视频平台的视频解码压缩网络动态调整系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0306448A2 (en) * 1987-09-02 1989-03-08 International Business Machines Corporation Method and apparatus for transmitting and receiving 3-dimensional video images
CN101252686A (zh) * 2008-03-20 2008-08-27 上海交通大学 基于交织预测的视频帧内无损编解码方法及系统
CN101290774A (zh) * 2007-01-31 2008-10-22 广州广晟数码技术有限公司 音频编码和解码系统

Family Cites Families (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6022290B2 (ja) 1976-10-25 1985-06-01 株式会社日立製作所 血液塗抹法
US6661463B1 (en) 1983-05-09 2003-12-09 David Michael Geshwind Methods and devices for time-varying selection and arrangement of data points with particular application to the creation of NTSC-compatible HDTV signals
JPS6022290U (ja) 1983-07-25 1985-02-15 三菱電機株式会社 ロボツトのハンド装置
JPS6086260U (ja) 1983-11-18 1985-06-13 三洋電機株式会社 食器洗浄機用食器カゴ
JPH0686260B2 (ja) 1986-03-07 1994-11-02 株式会社片岡機械製作所 巻芯各個駆動式分割巻取装置
FI89546C (fi) 1988-02-23 1993-10-11 Philips Nv Anordning foer spatialtemporal undersampling av digitala videosignaler representerade en foeljd av successiva bilder och anordning foer transmission av hdtv-bilder
JPH0413186A (ja) 1990-05-02 1992-01-17 Suzuki Gakki Seisakusho:Kk 電子リコーダー
JPH04183186A (ja) 1990-11-19 1992-06-30 Toshiba Corp 画像記録再生装置
EP0502545B1 (en) * 1991-03-07 1996-09-11 Mitsubishi Denki Kabushiki Kaisha Encoding apparatus for encoding a digital image signal
JPH062290A (ja) 1992-06-17 1994-01-11 Harumoto Tekkosho:Kk カバー体のケーブルへの取付け装置および方法
JPH0622290A (ja) 1992-07-03 1994-01-28 Sony Corp 画像信号符号化装置及び復号化装置
JPH0686260A (ja) 1992-08-31 1994-03-25 Victor Co Of Japan Ltd 直交変換符号化方法及び直交変換復号化方法
US5598514A (en) * 1993-08-09 1997-01-28 C-Cube Microsystems Structure and method for a multistandard video encoder/decoder
CN1102290C (zh) 1995-08-21 2003-02-26 松下电器产业株式会社 易于以少量控制信息实现向亲代锁定区间转移再现的光盘再现方法
DE19531173A1 (de) 1995-08-24 1997-02-27 Boehringer Mannheim Gmbh Verfahren zum Stabilisieren des Gehalts glykierten Proteins einer Probe auf einem Matrixmaterial
US5650860A (en) 1995-12-26 1997-07-22 C-Cube Microsystems, Inc. Adaptive quantization
DE19619598A1 (de) 1996-05-15 1997-11-20 Deutsche Telekom Ag Verfahren zur Speicherung oder Übertragung von stereoskopischen Videosignalen
US6134269A (en) * 1996-09-25 2000-10-17 At&T Corp Fixed or adaptive deinterleaved transform coding for image coding and intra coding of video
WO1998017068A1 (en) 1996-10-11 1998-04-23 Sarnoff Corporation Stereoscopic video coding and decoding apparatus and method
JP4034380B2 (ja) * 1996-10-31 2008-01-16 株式会社東芝 画像符号化／復号化方法及び装置
KR100238136B1 (ko) * 1996-11-28 2000-01-15 윤종용 디지털 비디오 재생장치
JP3454675B2 (ja) * 1997-06-20 2003-10-06 三洋電機株式会社 立体映像伝送方法及び装置
US6118486A (en) 1997-09-26 2000-09-12 Sarnoff Corporation Synchronized multiple format video processing method and apparatus
US6804403B1 (en) * 1998-07-15 2004-10-12 Digital Accelerator Corporation Region-based scalable image coding
US6628839B1 (en) * 1999-02-23 2003-09-30 Matsushita Electric Industrial Co., Ltd. Image coding system converting apparatus, image coding system converting method, and recording medium
EP1269761A1 (en) 2000-03-31 2003-01-02 Koninklijke Philips Electronics N.V. Encoding of two correlated sequences of data
US6944242B2 (en) * 2001-01-04 2005-09-13 Comsys Communication & Signal Processing Ltd. Apparatus for and method of converting soft symbol information to soft bit information
CN1367611A (zh) 2001-01-21 2002-09-04 爱尔得资讯股份有限公司 三维视频图像数字编码方法
KR100454194B1 (ko) * 2001-12-28 2004-10-26 한국전자통신연구원 다중 디스플레이 방식을 지원하는 양안식 동영상 부호화/복호화 장치 및 그 방법
US20040218269A1 (en) * 2002-01-14 2004-11-04 Divelbiss Adam W. General purpose stereoscopic 3D format conversion system and method
WO2003063497A1 (en) * 2002-01-22 2003-07-31 Koninklijke Philips Electronics N.V. Drift-free video encoding and decoding method, and corresponding devices
US7319720B2 (en) 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
JP4154569B2 (ja) 2002-07-10 2008-09-24 日本電気株式会社 画像圧縮伸長装置
KR100523052B1 (ko) 2002-08-30 2005-10-24 한국전자통신연구원 다중 디스플레이 방식을 지원하는 다시점 동영상의 객체 기반 부호화 장치 및 그 방법과 그를 이용한 객체 기반 송수신 시스템 및 그 방법
JP4406914B2 (ja) 2003-04-30 2010-02-03 日本電気株式会社 立体画像圧縮装置及び立体画像伸長装置
US7480416B2 (en) * 2003-05-09 2009-01-20 Telecommunications Research Laboratories Implementation of discrete wavelet transform using lifting steps
CN1236624C (zh) 2003-09-04 2006-01-11 上海大学 多种块模式的快速整像素运动估计方法
US7092576B2 (en) * 2003-09-07 2006-08-15 Microsoft Corporation Bitplane coding for macroblock field/frame coding type information
US7650036B2 (en) * 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
US7379608B2 (en) * 2003-12-04 2008-05-27 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Arithmetic coding for transforming video and picture data units
JP4183186B2 (ja) 2004-03-29 2008-11-19 京セラ株式会社 セラミックヒータ
EP1613091B1 (en) 2004-07-02 2009-08-26 Mitsubishi Electric Information Technology Centre Europe B.V. Intra-frame prediction for high-pass temporal-filtered frames in wavelet video coding
US20060015919A1 (en) * 2004-07-13 2006-01-19 Nokia Corporation System and method for transferring video information
FR2875974A1 (fr) * 2004-09-28 2006-03-31 Thomson Licensing Sa Procede et dispositif de codage d'une sequence d'images sources
WO2006080739A1 (en) * 2004-10-12 2006-08-03 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding multi-view video using image stitching
US20060282855A1 (en) * 2005-05-05 2006-12-14 Digital Display Innovations, Llc Multiple remote display system
WO2006125779A1 (en) * 2005-05-25 2006-11-30 Agfa Graphics Nv Image processing method and apparatus for improving the image quality of a dot matrix printer
EP1897056B1 (en) 2005-06-23 2016-08-10 Koninklijke Philips N.V. Combined exchange of image and related data
JP5017825B2 (ja) * 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法
US8879857B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
JP4987322B2 (ja) * 2006-02-28 2012-07-25 株式会社東芝 動画像復号装置及び動画像復号方法
CA2673494C (en) * 2006-10-16 2014-07-08 Nokia Corporation System and method for using parallelly decodable slices for multi-view video coding
JP2008193627A (ja) * 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
US8054886B2 (en) * 2007-02-21 2011-11-08 Microsoft Corporation Signaling and use of chroma sample positioning information
JP2008228199A (ja) * 2007-03-15 2008-09-25 Toshiba Corp 立体画像表示装置及び立体画像表示方法並びに立体画像用データの構造
EP2512135B1 (en) * 2007-04-12 2015-03-18 Thomson Licensing Tiling in video encoding and decoding
US8373744B2 (en) 2007-06-07 2013-02-12 Reald Inc. Stereoplexing for video and film applications
US8487982B2 (en) * 2007-06-07 2013-07-16 Reald Inc. Stereoplexing for film and video applications
US8749615B2 (en) * 2007-06-07 2014-06-10 Reald Inc. Demultiplexing for stereoplexed film and video applications
CN201066898Y (zh) 2007-07-17 2008-05-28 西安理工大学 一种实现菱形搜索算法的硬件结构
US7733819B2 (en) 2007-08-24 2010-06-08 Lg Electronics Inc. Digital broadcasting system and method of processing data in digital broadcasting system
JP5121935B2 (ja) * 2007-10-13 2013-01-16 三星電子株式会社 ＬＡＳｅＲベースの端末のためのステレオスコピック３Ｄ映像コンテンツの提供装置及び方法
US8116381B2 (en) * 2007-10-22 2012-02-14 Lg Electronics Inc. Digital broadcasting system and data processing method in digital broadcasting system
US20090174704A1 (en) 2008-01-08 2009-07-09 Graham Sellers Graphics Interface And Method For Rasterizing Graphics Data For A Stereoscopic Display
US8111324B2 (en) * 2008-06-26 2012-02-07 Texas Instruments Incorporated Apparatus and method for film source reconstruction
US20100091244A1 (en) 2008-07-19 2010-04-15 Volk Donald A Real image forming eye examination lens utilizing two reflecting surfaces with non-mirrored central viewing area
US20110135005A1 (en) 2008-07-20 2011-06-09 Dolby Laboratories Licensing Corporation Encoder Optimization of Stereoscopic Video Delivery Systems
US8629898B2 (en) 2008-09-03 2014-01-14 Sony Corporation Stereoscopic video delivery
WO2010039417A1 (en) 2008-09-23 2010-04-08 Dolby Laboratories Licensing Corporation Encoding and decoding architecture of checkerboard multiplexed image data
KR101405019B1 (ko) 2009-01-29 2014-06-11 돌비 레버러토리즈 라이쎈싱 코오포레이션 다중 이미지들，예를 들면 스테레오스코픽을 서브―샘플링 및 인터리빙하기 위한 방법들 및 디바이스들
EP2446249B1 (en) * 2009-06-24 2020-08-05 Koninklijke Philips N.V. Optical biosensor with focusing optics
WO2011091309A1 (en) * 2010-01-21 2011-07-28 General Instrument Corporation Stereoscopic video graphics overlay
WO2011094019A1 (en) 2010-01-29 2011-08-04 Thomson Licensing Block-based interleaving
JP6022290B2 (ja) 2012-10-03 2016-11-09 ドゥーマンズ株式会社 ユニットのデータ構造，ユニット設計装置および方法，家具設計装置，家具設計システム，ならびに家具製造支援装置
US9647261B2 (en) 2012-11-12 2017-05-09 Toyota Jidosha Kabushiki Kaisha Non-aqueous electrolyte secondary battery
JP2017228903A (ja) * 2016-06-21 2017-12-28 富士通株式会社 符号化プログラム、符号化方法、符号化装置、復号化プログラム、復号化方法及び復号化装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0306448A2 (en) * 1987-09-02 1989-03-08 International Business Machines Corporation Method and apparatus for transmitting and receiving 3-dimensional video images
CN101290774A (zh) * 2007-01-31 2008-10-22 广州广晟数码技术有限公司 音频编码和解码系统
CN101252686A (zh) * 2008-03-20 2008-08-27 上海交通大学 基于交织预测的视频帧内无损编解码方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408641A (zh) * 2016-09-19 2017-02-15 上海玮舟微电子科技有限公司 一种图像数据的缓存方法和装置
CN106408641B (zh) * 2016-09-19 2019-10-18 上海玮舟微电子科技有限公司 一种图像数据的缓存方法和装置
CN108419068A (zh) * 2018-05-25 2018-08-17 张家港康得新光电材料有限公司 一种3d图像处理方法和装置

Also Published As

Publication number Publication date
US20110280300A1 (en) 2011-11-17
HK1211768A1 (zh) 2016-05-27
US11622130B2 (en) 2023-04-04
CN105472369A (zh) 2016-04-06
US20240155156A1 (en) 2024-05-09
HK1220563A1 (zh) 2017-05-05
CN105357509A (zh) 2016-02-24
HK1220303A1 (zh) 2017-04-28
HK1220301A1 (zh) 2017-04-28
HK1222495A1 (zh) 2017-06-30
CN104780384B (zh) 2018-01-16
CN105357510A (zh) 2016-02-24
KR20110106466A (ko) 2011-09-28
HK1221360A1 (zh) 2017-05-26
CN102301715B (zh) 2015-12-16
US20150237373A1 (en) 2015-08-20
HK1221361A1 (zh) 2017-05-26
CN105357534A (zh) 2016-02-24
US9025670B2 (en) 2015-05-05
HK1211763A1 (zh) 2016-05-27
US20180213256A1 (en) 2018-07-26
US12096029B2 (en) 2024-09-17
US20150326882A1 (en) 2015-11-12
US20150181234A1 (en) 2015-06-25
US20240080479A1 (en) 2024-03-07
CN105472369B (zh) 2017-09-12
US11973980B2 (en) 2024-04-30
CN105357510B (zh) 2017-08-11
WO2010088420A1 (en) 2010-08-05
EP3226559A1 (en) 2017-10-04
HK1220564A1 (zh) 2017-05-05
JP2012516657A (ja) 2012-07-19
US20200329256A1 (en) 2020-10-15
US20190373288A1 (en) 2019-12-05
JP5406942B2 (ja) 2014-02-05
US9420311B2 (en) 2016-08-16
CN105376549A (zh) 2016-03-02
CN105407341B (zh) 2017-05-17
US9877047B2 (en) 2018-01-23
CN105376549B (zh) 2017-08-11
US20220109874A1 (en) 2022-04-07
CN104780385B (zh) 2018-01-16
US20230217042A1 (en) 2023-07-06
US12081797B2 (en) 2024-09-03
US9877046B2 (en) 2018-01-23
EP2392144A1 (en) 2011-12-07
US10362334B2 (en) 2019-07-23
US10701397B2 (en) 2020-06-30
CN105407341A (zh) 2016-03-16
US11284110B2 (en) 2022-03-22
US20180084278A1 (en) 2018-03-22
CN102301715A (zh) 2011-12-28
US10382788B2 (en) 2019-08-13
US20210377565A9 (en) 2021-12-02
CN105357533A (zh) 2016-02-24
CN105357509B (zh) 2017-09-15
CN104780385A (zh) 2015-07-15
KR101405019B1 (ko) 2014-06-11
CN105357533B (zh) 2018-10-19
CN105357534B (zh) 2018-06-19

Similar Documents

Publication Publication Date Title
CN102301715B (zh) 视频编码方法、视频装置和编码系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1211763

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180116

Termination date: 20190128

CF01 Termination of patent right due to non-payment of annual fee
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1211763

Country of ref document: HK