CN1771734A - 用于视频的三维编码和/或解码的方法、介质及装置 - Google Patents

用于视频的三维编码和/或解码的方法、介质及装置 Download PDF

Info

Publication number
CN1771734A
CN1771734A CNA200580000210XA CN200580000210A CN1771734A CN 1771734 A CN1771734 A CN 1771734A CN A200580000210X A CNA200580000210X A CN A200580000210XA CN 200580000210 A CN200580000210 A CN 200580000210A CN 1771734 A CN1771734 A CN 1771734A
Authority
CN
China
Prior art keywords
video
camera
center
time
shot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200580000210XA
Other languages
English (en)
Other versions
CN100584004C (zh
Inventor
李英烈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Sejong University
Original Assignee
Samsung Electronics Co Ltd
Industry Academy Cooperation Foundation of Sejong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd, Industry Academy Cooperation Foundation of Sejong University filed Critical Samsung Electronics Co Ltd
Publication of CN1771734A publication Critical patent/CN1771734A/zh
Application granted granted Critical
Publication of CN100584004C publication Critical patent/CN100584004C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05D—HINGES OR SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS
    • E05D15/00—Suspension arrangements for wings
    • E05D15/40—Suspension arrangements for wings supported on arms movable in vertical planes
    • E05D15/44—Suspension arrangements for wings supported on arms movable in vertical planes with pivoted arms and vertically-sliding guides
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05C—BOLTS OR FASTENING DEVICES FOR WINGS, SPECIALLY FOR DOORS OR WINDOWS
    • E05C17/00—Devices for holding wings open; Devices for limiting opening of wings or for holding wings open by a movable member extending between frame and wing; Braking devices, stops or buffers, combined therewith
    • E05C17/02—Devices for holding wings open; Devices for limiting opening of wings or for holding wings open by a movable member extending between frame and wing; Braking devices, stops or buffers, combined therewith by mechanical means
    • E05C17/04—Devices for holding wings open; Devices for limiting opening of wings or for holding wings open by a movable member extending between frame and wing; Braking devices, stops or buffers, combined therewith by mechanical means with a movable bar or equivalent member extending between frame and wing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME RELATING TO HINGES OR OTHER SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS AND DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION, CHECKS FOR WINGS AND WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05Y2201/00—Constructional elements; Accessories therefore
    • E05Y2201/60—Suspension or transmission members; Accessories therefore
    • E05Y2201/622—Suspension or transmission members elements
    • E05Y2201/684—Rails
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME RELATING TO HINGES OR OTHER SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS AND DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION, CHECKS FOR WINGS AND WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05Y2900/00—Application of doors, windows, wings or fittings thereof
    • E05Y2900/10—Application of doors, windows, wings or fittings thereof for buildings or parts thereof
    • E05Y2900/13—Application of doors, windows, wings or fittings thereof for buildings or parts thereof characterised by the type of wing
    • E05Y2900/148—Windows

Abstract

一种用于视频的三维编码和/或解码的方法、介质和设备，包含：适应视频的时间和空间特性。该方法包括：当多个其它摄像机被排列成一行时，参考由同一摄像机在紧邻的以前时间所拍摄的视频，对由位于中心位置的摄像机所拍摄的视频执行时间估计；以及参考由与位于中心位置的摄像机相邻的摄像机所拍摄的以前的视频，对由其它摄像机所拍摄的视频执行时间－空间估计。

Description

用于视频的三维编码和/或解码的方法、介质及装置
技术领域
本发明的实施例涉及视频编码和解码，更具体地说，涉及对视频进行三维编码和/或解码的方法、介质和装置，其包含：适应视频的时间特性和空间特性。
背景技术
运动图像专家组(MPEG)-4第2部分和H.264(MPEG-4高级视频编码(AVC))中的视频编码包含对视频的二维编码，并且着重于提高编码效率。但是，在逼真(real-like)通信或虚拟现实领域中，还要求对视频的三维编码和重现。因此，应该对音视频(AV)数据的三维编码进行研究，以代替对二维编码进行研究。
视频编码标准化组织MPEG已经致力于建立AV数据的三维编码标准。作为该努力的一部分，已经成立了三维AV编码特别组(ad-hoc group，AHG)，并且标准化工作正在进行中。
发明内容
本发明的实施例包含用于对视频进行三维编码和/或解码的方法、介质和装置，通过它们对从多台摄像机接收的视频数据进行三维编码/解码。
根据本发明的实施例，使用多台摄像机所获得的三维视频能够被有效地编码，以获得较好的视频显示质量。
附图说明
图1是示出了根据本发明的实施例的、使用左视图(left view)视频和右视图视频对立体视频的编码和重现的视图；
图2A和2B示出了基础层(base layer)视频和加强层(enhancement layer)视频的示例性结构；
图3是示出了根据本发明的实施例的、使用左视图视频和右视图视频的抽取(decimation)来创建单个视频以及使用单个视频的内插(interpolation)来将单个视频重建成左视图视频和右视图视频的视图；
图4是示出了对由左视图视频和右视图视频组成的抽取视频(decimatedvideo)的运动估计/补偿的视图；
图5A示出了根据本发明的实施例的、对从排成一行的摄像机接收的多个视频数据的编码；
图5B示出了由于场景变化而由多台摄像机随着时间所拍摄的视频；
图6A和6B是示出了根据本发明的实施例的、根据本发明的视频的三维编码的视图；以及
图7示出了根据本发明的实施例的、当多台摄像机存在于二维空间中时的摄像机位置和编码顺序。
最优方式
为了获得上述和/或其它方面和优点，本发明的实施例提出了一种用于视频的三维编码的方法，所述方法包括：当多个其它摄像机被排列成一行，且位于中心的摄像机处在该行的中心位置时，参考由位于中心的摄像机在至少紧邻的以前时间(immediately previous-in-time)所拍摄的视频，执行对由位于中心的摄像机所拍摄的视频的时间估计；和参考由与位于中心的摄像机相邻的摄像机所拍摄的以前时间的视频，以及由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频，执行对由其它摄像机所拍摄的视频的时间-空间估计。
执行对由位于中心的摄像机所拍摄的视频的时间估计的结果可以是基础层视频，并且执行对由其它摄像机所拍摄的视频的时间-空间估计的结果可以是基础层视频的至少一个加强层视频。
在执行对由其它摄像机所拍摄的视频的时间-空间估计中，可以参考等于预定数目的参考图像的多个以前时间的视频，对由其它摄像机所拍摄的视频所参考的以前时间的视频执行时间-空间估计。并且，所述参考图像的预定数目可以为5。
此外，在对由其它摄像机所拍摄的视频的时间-空间估计中，该时间-空间估计也可以参考由与位于中心的摄像机相邻的摄像机所拍摄的当前视频而执行。在对由其它摄像机所拍摄的视频的时间-空间估计中，该时间-空间估计也可以是参考由落在由与位于中心的摄像机相邻的摄像机所拍摄的以前时间的视频和目前将被估计的视频之间的一角度范围内的所有多个摄像机所拍摄的视频而执行的。
为了获得上述和/或其它方面和优点，本发明的实施例提出一种用于视频的三维编码的方法，所述方法包括：参考与目前将被编码的视频的中心相邻的摄像机所拍摄的以前时间的视频；和按照预定数目的参考图像进一步参考同样多的、与相邻于视频的中心的摄像机相邻的以前时间的视频执行时间-空间估计。
参考的结果可以是基础层视频，并且执行时间-空间估计的结果可以是基础层视频的至少一个加强层视频。
并且，与视频的中心相邻的摄像机和目前将被编码的视频之间的角度可以随着相邻摄像机之间的间隔而变化。
为了获得上述和/或其它方面和优点，本发明的实施例提出一种用于视频的三维编码的方法，通过该方法对由二维排列的摄像机所拍摄的多个视频进行编码，该方法包括：对由在二维排列的其它摄像机中位于中心的摄像机所拍摄的视频编码；并且按照基于到位于中心的摄像机的距离最短的顺序，顺序地对由其它摄像机所拍摄的视频编码。
对由位于中心的摄像机所拍摄的视频编码的结果可以是基础层视频，并且，顺序编码的结果可以是基础层视频的至少一个加强层视频。
此外，在顺序编码中，如果存在多个到位于中心的摄像机的距离相同的摄像机，则对该具有相同距离的多个摄像机的编码可以以螺旋方式顺序地执行。
为了获得上述和/或其它方面和优点，本发明的实施例提出一种包含计算机可读代码的介质，所述计算机可读代码执行用于视频的三维编码的方法，所述方法包括：当多个其它摄像机被排列成一行，且位于中心的摄像机处在该行的中心位置时，参考由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频，执行对由位于中心的摄像机所拍摄的视频的时间估计；和参考由与位于中心的摄像机相邻的摄像机所拍摄的以前时间的视频，以及由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频，执行对由其它摄像机所拍摄的视频的时间-空间估计。
为了获得上述和/或其它方面和优点，本发明的实施例提出一种用于三维编码的编码器，包括：第一编码器，其在多个其它摄像机被排列成一行，且位于中心的摄像机处于该行的中心位置时，参考由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频，执行对由位于中心的摄像机所拍摄的视频的时间估计；第二编码器，其参考由与位于中心的摄像机相邻的摄像机所拍摄的以前时间的视频，和由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频，执行对由其它摄像机所拍摄的视频的时间-空间估计；以及复用器，其复用第一编码器的输出和第二编码器的输出。
在第二编码器中，可以参考等于预定数目的参考图像的多个以前时间的视频，对由其它摄像机所拍摄的视频所参考的以前时间的视频执行所述时间-空间估计。
此外，第一编码器的输出可以是基础层视频，并且第二编码器的输出可以是基础层视频的至少一个加强层视频。
为了获得上述和/或其它方面和优点，本发明的实施例提出一种用于视频三维编码的编码器，包括：第一编码器，其通过参考与视频的中心相邻的摄像机的以前时间的视频，对由与视频的中心相邻的摄像机所拍摄的当前时间的视频编码；第二编码器，其按照预定数目的参考图像进一步参考同样多的、与相邻于视频的中心的摄像机相邻的以前时间的视频执行时间-空间估计；以及复用器，其复用第一编码器的输出和第二编码器的输出。
为了获得上述和/或其它方面和优点，本发明的实施例提出一种用于视频三维编码的编码器，通过该编码器对由二维排列的摄像机所拍摄的多个视频进行编码，包括：第一编码器，其对由在二维排列的其它摄像机中位于中心的摄像机所拍摄的视频编码；第二编码器，其按照基于到位于中心的摄像机的距离最短的顺序，顺序地对由其它摄像机所拍摄的视频编码；以及复用器，其复用第一编码器的输出和第二编码器的输出。
为了获得上述和/或其它方面和优点，本发明的实施例提出一种用于三维编码的编码系统，包括：多个摄像机，该多个摄像机中的至少一个摄像机位于该多个摄像机的中心；第一编码器，其当所述多个摄像机中的多个其它摄像机被排列成一行，且位于中心的摄像机处在该行的中心位置时，参考由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频，执行对由位于中心的摄像机所拍摄的视频的时间估计；第二编码器，其参考由与位于中心的摄像机相邻的摄像机所拍摄的以前时间的视频，以及由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频，执行对由其它摄像机所拍摄的视频的时间-空间估计；以及复用器，其复用第一编码器的输出和第二编码器的输出。
为了获得上述和/或其它方面和优点，本发明的实施例提出一种用于视频的三维解码的方法，该方法包括：将视频比特流解复用成基础层视频和至少一个加强层视频；对所述基础层视频解码，以便对通过当多个其它摄像机被排列成一行，且位于中心的摄像机处于该行的中心位置时参考由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频而执行对由位于中心的摄像机所拍摄的视频的时间估计而编码的视频进行解码；以及基于网络资源对至少一个加强层视频解码，以便对通过参考由与位于中心的摄像机相邻的摄像机所拍摄的以前时间的视频、以及由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频而执行对由其它摄像机所拍摄的视频的时间-空间编码而编码的视频解码。
为了获得上述和/或其它方面和优点，本发明的实施例提出一种用于视频的三维解码的方法，该方法包括：将视频比特流解复用成基础层视频和至少一个加强层视频；对所述基础层视频解码，以便对通过参考由与当前将被编码的视频的中心相邻的摄像机所拍摄的以前时间的视频而编码的视频解码；以及基于网络资源对所述至少一个加强层视频解码，以便对通过按照预定数目的参考图像进一步参考同样多的、与相邻于视频的中心的摄像机相邻的以前时间的视频执行时间-空间估计而编码的视频解码。
为了获得上述和/或其它方面和优点，本发明的实施例提出一种用于视频的三维解码的方法，通过该方法由二维排列的摄像机所拍摄的多个视频被编码，所述方法包括：将视频比特流解复用成基础层视频和至少一个加强层视频；对所述基础层视频解码，以便对通过对由在二维排列的其它摄像机中位于中心的摄像机所拍摄的视频编码而编码的视频解码；以及基于网络资源对所述至少一个加强层视频解码，以便对通过按照基于到位于中心的摄像机的距离最短的顺序、顺序地对由其它摄像机所拍摄的视频编码而编码的视频解码。
为了获得上述和/或其它方面和优点，本发明的实施例提出一种包含计算机可读代码的计算机可读介质，该计算机可读代码执行用于视频的三维解码的方法，所述方法包括：将视频比特流解复用成基础层视频和至少一个加强层视频；对所述基础层视频解码，以便对通过在多个其它摄像机被排列成一行，且位于中心的摄像机处于该行的中心位置时，参考由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频而执行对由位于中心的摄像机所拍摄的视频的时间估计而编码的视频解码；以及基于网路资源对所述至少一个加强层视频解码，以便对通过参考由与位于中心的摄像机相邻的摄像机所拍摄的以前时间的视频、以及由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频而执行对由其它摄像机所拍摄的视频的时间-空间估计而编码的视频解码。
为了获得上述和/或其它方面和优点，本发明的实施例提出一种用于视频的三维解码的解码器，包括：解复用器，其将视频比特流解复用成基础层视频和至少一个加强层视频；第一解码器，其通过对通过当多个其它摄像机被排列成一行，且位于中心的摄像机处于该行的中心位置时，参考由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频而执行对由位于中心的摄像机所拍摄的视频的时间估计而编码的视频解码，对基础层视频解码；以及第二解码器，其通过对通过参考由与位于中心的摄像机相邻的摄像机所拍摄的以前时间的视频、以及由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频而执行对由其它摄像机所拍摄的视频的时间-空间编码而编码的视频解码，基于网络资源对至少一个加强层视频解码。
为了获得上述和/或其它方面和优点，本发明的实施例提出一种用于视频的三维解码的解码器，包括：解复用器，其将视频比特流解复用为基础层视频和至少一个加强层视频；第一解码器，其通过对通过参考由与当前将被编码的视频的中心相邻的摄像机所拍摄的以前时间的视频而编码的视频解码，对所述基础层视频解码；以及第二解码器，其通过对通过按照预定数目的参考图像进一步参考同样多的、与相邻于视频的中心的摄像机相邻的以前时间的视频执行时间-空间估计而编码的视频解码，基于网路资源对所述至少一个加强层视频解码。
为了获得上述和/或其它方面和优点，本发明的实施例提出一种用于视频三维解码的解码器，通过该解码器由二维排列的摄像机所拍摄的多个视频被编码，包括：解复用器，其将视频比特流解复用成基础层视频和至少一个加强层视频；第一解码器，其通过对通过对由在二维排列的其它摄像机中位于中心的摄像机所拍摄的视频编码而编码的视频解码，对所述基础层视频解码；以及第二解码器，其通过对通过按照基于到位于中心的摄像机的距离最短的顺序、顺序地对由其它摄像机所拍摄的视频编码而编码的视频解码，基于网络资源对所述至少一个加强层视频解码。
为了获得上述和/或其它方面和优点，本发明的实施例提出一种三维编码信号，包括：通过当多个其它摄像机被排列，且位于中心的摄像机处于所排列的位于中心的摄像机的中心位置时，参考由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频，对由位于中心的摄像机所拍摄的视频执行时间估计而编码的基础层视频；和通过参考由与位于中心的摄像机相邻的摄像机所拍摄的以前时间的视频和由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频，对由其它摄像机所拍摄的视频执行时间-空间估计而编码的至少一个加强层视频，其中，所述基础层视频和所述至少一个加强层视频被复用以生成所述三维编码信号。
具体实施方式
现在，将详细参照本发明的实施例，其例子在附图中示出，在所有附图中相似的附图标记表示相似的元素。下面将参照附图说明实施例，从而解释本发明。
图1是示出了根据本发明的实施例的、使用左视图视频和右视图视频编码和重现立体视频的视图。
如图1所示，在MPEG-2多视图类(multi-view profile)(13818-2)中，能够使用可缩放编解码器(scalable codec)编码和重现三维视频，在可缩放编解码器中，搜索左视图视频和右视图视频之间的相关性，并根据相应网络的条件对两个视频之间的差异(disparity)编码。通过使用左视图视频作为基础层视频而使用右视图视频作为加强层视频来进行编码。基础层视频是指能够按原样(as it is)被编码的视频，而加强层视频是指如下视频：其在传输两个视频层的相应网络状况良好时，即当网络状况不利于仅重现基础层视频时，被额外编码，并且以后能够被用于提高基础层视频的质量。这样，使用基础层视频和加强层视频两者的编码被称为可缩放编码。
左视图视频能够由第一运动补偿DCT编码器110编码。左视图视频和右视图视频之间的差异能够由差异估计器122和差异补偿器124计算，并随后由第二运动补偿DCT编码器126编码，其中差异估计器122估计左视图视频和右视图视频之间的差异。假定对左视图视频编码的第一运动补偿DCT编码器110为基础层视频编码器，则参与对左视图视频和右视图视频之间的差异编码的差异估计器122、差异补偿器124和第二运动补偿DCT编码器126可以被称为加强层视频编码器120。之后，编码后的基础层视频和加强层视频由系统复用器130复用，并被发送以用于随后的解码。
当解码时，系统解复用器140能够将复用的数据分解成左视图视频和右视图视频。左视图视频能够由第一运动补偿DCT解码器150解码。然后，差异视频由差异补偿器162和第二运动补偿DCT解码器164恢复成右视图视频，其中差异补偿器162补偿左视图视频和右视图视频之间的差异。假定对左视图视频解码的第一运动补偿DCT解码器150是基础层视频解码器，则参与搜索左视图视频和右视图视频之间的差异以及对右视图视频解码的差异补偿器162和第二运动补偿DCT解码器164可以被称为加强层视频解码器160。
图2A和2B示出了基础层视频和加强层视频的示例性结构。
如图2A所示，与MPEG-2或MPEG-4中的视频编码相似，使用内图像(intra picture)(称为I图像)212、预测图像(predictive picture)(称为P图像)218以及双向图像(bidirectional picture)(称为B图像)214和216对左视图视频类型的基础层视频编码。另一方面，右视图视频类型的加强层视频可以包含参考左视图视频类型的I图像212编码的P图像222、参考右视图视频类型的P图像222和左视图视频类型的B图像214编码的B图像224、参考右视图视频类型的B图像224和左视图视频类型的B图像216编码的B图像226、和参考右视图视频类型的B图像226和左视图视频类型的P图像218编码的B图像228。换言之，可以参考基础层来编码差异。在图2A的表示中，箭头的方向表示参考由箭头点(arrow point)标识的视频对各个视频进行编码。
图2B示出了加强层视频的另一示例性结构。
参照图2B，右视图视频类型的加强层视频能够包含参考左视图视频类型的B图像232编码的B图像242、参考右视图视频类型的B图像242和左视图视频类型的B图像234编码的B图像244、和参考右视图视频类型的B图像244和左视图视频类型的P图像236编码的B图像246。
图3示出了使用对左视图视频和右视图视频的抽取创建单个视频，和使用单个视频的内插将单个视频重建成左视图视频和右视图视频。
参照图3，立体视频编码可以在使用运动编码和差异编码的MPEG-2主类(MP)中执行。通过将左视图视频和右视图视频水平抽取为立体视频编码中的1/2而后将带宽缩小1/2，可以将两个视频组合成一个视频。然后，将组合的视频发送给解码器。解码器接收该组合视频，并且通过将组合的视频分解为左视图视频和右视图视频并两次内插该左视图视频和右视图视频来恢复原始视频。
图4是示出了对包含左视图视频和右视图视频的抽取视频的运动估计/补偿的视图。
如图4所示，可以参考与基础层视频LI、LB和LP相邻的加强层视频对加强层视频RI、RB和RP编码。这里，RI表示右视图视频类型的I图像，RB表示右视图视频类型的B图像，而RP表示右视图视频类型的P图像，LI表示左视图视频类型的I图像，LB表示左视图视频类型的B图像，而LP表示左视图视频类型的P图像。
但是，这种编码方法存在这样的问题，即，差异信息没有被有效地压缩，并且左视图视频和右视图视频之间的显示质量的差别将变得始终大于0.5-1.5dB。并且，如果对于一个场景存在几台摄像机，将很难接收附加的视频数据。
图5A是示出了从排列成一行的多台摄像机接收的编码视频数据的视图。
参照图5A，多台摄像机可以被排列成一行，例如，排列成一条一维的线。在本发明的实施例中，可以假定摄像机存在于由i轴和j轴构成的二维空间中。但是，为了解释本发明的实施例，多台摄像机的情况被示为仅存在于一维空间中，即，(i，j)的i等于0。如果i不等于0，则多台摄像机将存在于二维空间中。后面将参照图7说明这样的例子。
图5B示出了由多台摄像机随着时间，例如随着场景变化而拍摄的视频。
由一台摄像机在特定时间t拍摄的视频由f(i，j，t)标识，(i，j)将标识摄像机的位置，并且当i等于0时，相应的摄像机如图5A和5B所示，仅存在于一维空间中。例如，f(0，0，0)标识由中心摄像机在起始时间拍摄的视频。如果将由其它摄像机拍摄的视频沿时间轴排列，则对于由相邻摄像机在相邻时间t拍摄的视频，还将存在一个角度q。该角度信息q也可以被用于编码和解码。
图6A和6B是示出了根据本发明的实施例的视频的三维编码的视图。
如图6A所示，分别由位于中心位置(0，0，t)的摄像机从第一方向摄取的视频f(0，0，0)、f(0，0，1)、f(0，0，2)、f(0，0，3)和f(0，0，4)每一个被编码成基础层视频，即，仅参考紧邻的以前时间的基础层视频对它们每一个进行时间估计和编码。例如，参考f(0，0，1)估计f(0，0，2)，参考f(0，0，2)估计f(0，0，3)。作为例子，可以使用最多5个参考视频。由位于位置(0，-1，t)的摄像机拍摄的视频f(0，-1，t)被编码成第一加强层视频。更具体地说，可以使用时间上以前时间的解码视频(temporallyprevious-in-time decoded video)和参考视频f(0，-1，t-1～t-5)估计视频f(0，-1，t)。例如，可以参考视频f(0，0，1)和f(0，-1，1)估计视频f(0，-1，2)，参考视频f(0，0，2)和f(0，-1，2)估计视频f(0，-1，3)。在本例中，在对基础层视频的运动估计中再次使用最多5个参考视频。换句话说，时间-空间估计运动，并随后对其编码。
可以使用与上述相同的方法对其它层的视频编码。换句话说，从摄像机位置(0，-2，t)拍摄的视频f(0，-2，t)可以被编码成第三加强层视频，从摄像机位置(0，1，t)拍摄的视频f(0，1，t)可以被编码成第二加强层视频，而从摄像机位置(0，2，t)拍摄的视频f(0，2，t)可以被编码成第四加强层视频。
如图6B进一步所示，根据本发明的另一个实施例，也可以参考相邻层视频来对加强层视频编码。在本例中，由于使用了更多数量的参考视频，因此能够提高恢复的视频的显示质量。
图7示出了当在二维空间中存在多台摄像机时，摄像机的位置和编码顺序。
参照图7，当摄像机存在于二维空间中且t等于0时摄像机的位置被示出。按照对摄像机所摄取的视频进行编码的一个顺序，由位于中心位置的摄像机所摄取的视频被首先编码，并且与位于中心的摄像机位置最接近的8台摄像机，例如那些与位于中心的摄像机的距离为1(这里假定从一台摄像机到另一台的距离为1)的摄像机所摄取的视频被以螺旋方式顺序地编码。然后，以螺旋方式顺序地对由与位于中心的摄像机的距离为2的16台摄像机所摄取的视频编码。这种编码可以如下安排：
(1)f(0，0)：距离＝0
(2)f(1，0)，f(1，1)，f(0，1)，f(-1，1)，f(-1，0)，f(-1，-1)，f(0，-1)，f(1，-1) ：距离＝1
(3)f(2，0)，f(2，1)，f(2，2)，…：距离＝2
(4)f(3，0)，f(3，1)，…：距离＝3
如果以上述顺序执行编码，虽然可以缩小相应网络的带宽，但是不能对来自所有摄像机的视频进行编码和发送，并且这样仅仅发送一部分视频。因此，为了克服这个潜在的带宽问题，可以使用双线性内插或同步功能型内插(sync function type interpolation)来空间-时间预测并恢复来自N台摄像机的视频。所以，只要来自位于位置(i，j，t)的摄像机的三维视频信息被编码并发送到解码器，即使在网络带宽不足时仅发送了部分数据，解码器也仍然能够通过执行内插来恢复原始视频。
使用视频f(0，6，6)作为例子，可以如下进一步解释根据本发明实施例的用于编码的方法。
(1)f(0，6，5)，f(0，6，4)，f(0，6，3)，f(0，6，2)，f(0，6，1)：当j等于6时，执行时间预测，即运动估计/补偿。此时，参考图像的数目为5，注意，参考图像的数目是可以根据不同情况而变化的。
(2)可以从视频f(0，6，6)向中心图像执行时间-空间预测。此时，使用以前定义的角度θ执行时间-空间预测。换句话说，可以对落在角度θ范围内的所有图像执行时间-空间预测。如果θ等于45°，则以如下顺序(例如)执行预测：
a)f(0，5，5)，f(0，5，4)，f(0，5，3)，f(0，5，2)，f(0，5，1)
b)f(0，4，4)，f(0，4，3)，f(0，4，2)，f(0，4，1)
c)f(0，3，3)，f(0，3，2)，f(0，3，1)
d)f(0，2，2)，f(0，2，1)
e)f(0，1，1)
换句话说，可以以宏块为单位对上面15个时间-空间参考图像执行运动估计/补偿，其中参考图像使用以前定义的角度θ来确定。
(3)在(1)和(2)的时间-空间估计编码期间，可以从参考图像中搜索与当前编码的宏块最相似的宏块，并且可以对找到的宏块执行运动估计/补偿和冗余变换(residual transform)。
根据本发明的另一个实施例，例如，可以类似地执行与前述编码方法相反的解码方法。如参照图6A和6B所述的，只要接收到复用的基础层视频和加强层视频，该复用的视频就能够被分解成各个层的视频并被解码。
用于视频的三维编码的方法可以通过计算机可读代码，例如计算机程序来实现。熟练的计算机程序员能够容易地解释组成的计算机可读代码的代码和代码片段。并且，计算机可读代码可以在计算机可读介质上存储/传输，通过读取和执行该计算机可读代码可以实现用于视频的三维编码/解码的方法。该计算机可读介质包含例如磁性记录介质、光学记录介质和载波介质。
虽然参考其示范实施例具体示出并说明了本发明，但是本领域技术人员应该理解，在不脱离所附权利要求所定义的本发明的精神和范围的前提下，可以对其进行各种形式上和细节上的修改。

Claims (50)

1、一种用于视频的三维编码的方法，所述方法包括：
当多个其它摄像机被排列成一行且位于中心的摄像机处在该行的中心位置时，参考由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频，执行对由位于中心的摄像机所拍摄的视频的时间估计；以及
参考由与位于中心的摄像机相邻的摄像机所拍摄的以前时间的视频以及由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频，执行对由其它摄像机所拍摄的视频的时间-空间估计。
2、如权利要求1所述的方法，其中，所述执行对由位于中心的摄像机所拍摄的视频的时间估计的结果为基础层视频，并且所述执行对由其它摄像机所拍摄的视频的时间-空间估计的结果是基础层视频的至少一个加强层视频。
3、如权利要求1所述的方法，其中，在执行对由其它摄像机所拍摄的视频的时间-空间估计中，至少参考等于预定数目的参考图像的多个以前时间的视频，至少对由其它摄像机所拍摄的视频所参考的以前时间的视频执行所述时间-空间估计。
4、如权利要求3所述的方法，其中，所述参考图像的预定数目为5。
5、如权利要求3所述的方法，其中，在对由其它摄像机所拍摄的视频的时间-空间估计中，该时间-空间估计还进一步参考由与位于中心的摄像机相邻的摄像机所拍摄的当前视频而执行。
6、如权利要求3所述的方法，其中，在对由其它摄像机所拍摄的视频的时间-空间估计中，该时间-空间估计参考由落在由与位于中心的摄像机相邻的摄像机所拍摄的以前时间的视频和目前将被估计的视频之间的一角度范围内的所有多个摄像机所拍摄的视频而执行。
7、一种用于视频的三维编码的方法，所述方法包括：
参考与目前将被编码的视频的中心相邻的摄像机所拍摄的以前时间的视频；以及
按照预定数目的参考图像进一步参考同样多的、与相邻于视频的中心的摄像机相邻的以前时间的视频执行时间-空间估计。
8、如权利要求7所述的方法，其中，所述参考的结果是基础层视频，并且所述执行时间-空间估计的结果为基础层视频的至少一个加强层视频。
9、如权利要求7所述的方法，其中，与视频的中心相邻的摄像机和目前将被编码的视频之间的角度随着相邻摄像机之间的间隔而变化。
10、一种用于视频的三维编码的方法，通过该方法对由二维排列的摄像机所拍摄的多个视频进行编码，所述方法包括：
对由在二维排列的其它摄像机中位于中心的摄像机所拍摄的视频编码；以及
按照基于距位于中心的摄像机的距离最短的顺序，顺序地对由其它摄像机所拍摄的视频编码。
11、如权利要求10所述的方法，其中，对由位于中心的摄像机所拍摄的视频编码的结果为基础层视频，并且，顺序编码的结果为基础层视频的至少一个加强层视频。
12、如权利要求10所述的方法，其中，在所述顺序编码中，如果存在多个到位于中心的摄像机的距离相同的摄像机，则对该具有相同距离的多个摄像机的编码以螺旋方式顺序地执行。
13、一种包含计算机可读代码的介质，该计算机可读代码执行用于视频的三维编码的方法，所述方法包括：
当多个其它摄像机被排列成一行且位于中心的摄像机处在该行的中心位置时，参考由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频，执行对由位于中心的摄像机所拍摄的视频的时间估计；以及
参考由与位于中心的摄像机相邻的摄像机所拍摄的以前时间的视频以及由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频，执行对由其它摄像机所拍摄的视频的时间-空间估计。
14、如权利要求13所述的介质，其中，所述执行对由位于中心的摄像机所拍摄的视频的时间估计的结果为基础层视频，并且所述执行对由其它摄像机所拍摄的视频的时间-空间估计的结果为基础层视频的至少一个加强层视频。
15、一种用于三维编码的编码器，包括：
第一编码器，其在多个其它摄像机被排列成一行且位于中心的摄像机处于该行的中心位置时，参考由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频，执行对由位于中心的摄像机所拍摄的视频的时间估计；
第二编码器，其参考由与位于中心的摄像机相邻的摄像机所拍摄的以前时间的视频和由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频，执行对由其它摄像机所拍摄的视频的时间-空间估计；以及
复用器，其复用第一编码器的输出和第二编码器的输出。
16、如权利要求15所述的编码器，其中，在所述第二编码器中，至少参考等于预定数目的参考图像的多个以前时间的视频，至少对由其它摄像机所拍摄的视频所参考的以前时间的视频执行所述时间-空间估计。
17、如权利要求16所述的编码器，其中，所述参考图像的预定数目为5。
18、如权利要求16所述的编码器，其中，在所述第二编码器中，所述时间-空间估计还进一步参考由与位于中心的摄像机相邻的摄像机所拍摄的当前视频而执行。
19、如权利要求16所述的编码器，其中，在所述第二编码器中，所述时间-空间估计参考由落在由与位于中心的摄像机相邻的摄像机所拍摄的以前时间的视频和目前将被估计的视频之间的一角度范围内的所有多个摄像机所拍摄的视频而执行。
20、如权利要求16所述的编码器，其中，所述第一编码器的输出为基础层视频，并且所述第二编码器的输出为基础层视频的至少一个加强层视频。
21、一种用于视频的三维编码的编码器，包括：
第一编码器，其通过参考与视频的中心相邻的摄像机的以前时间的视频，对由与视频的中心相邻的摄像机所拍摄的当前时间的视频编码；
第二编码器，其按照预定数目的参考图像进一步参考同样多的、与相邻于视频的中心的摄像机相邻的以前时间的视频执行时间-空间估计；以及
复用器，其复用第一编码器的输出和第二编码器的输出。
22、如权利要求21所述的编码器，其中，所述与视频的中心相邻的摄像机和所述目前将被编码的视频之间的角度随着相邻摄像机之间的间隔而变化。
23、如权利要求21所述的编码器，其中，所述第一编码器的输出为基础层视频，并且所述第二编码器的输出为基础层视频的至少一个加强层视频。
24、一种用于视频的三维编码的编码器，通过该编码器对由二维排列的摄像机所拍摄的多个视频进行编码，包括：
第一编码器，其对由在二维排列的其它摄像机中位于中心的摄像机所拍摄的视频编码；
第二编码器，其按照基于到位于中心的摄像机的距离最短的顺序，顺序地对由其它摄像机所拍摄的视频编码；以及
复用器，其复用第一编码器的输出和第二编码器的输出。
25、如权利要求24所述的编码器，其中，在所述第二编码器中，如果存在多个到位于中心的摄像机的距离相同的摄像机，则对该具有相同距离的多个摄像机的编码以螺旋方式顺序地执行。
26、如权利要求24所述的编码器，其中，所述第一编码器的输出为基础层视频，并且所述第二编码器的输出为基础层视频的至少一个加强层视频。
27、一种用于三维编码的编码系统，包括：
多个摄像机，该多个摄像机中的至少一个摄像机位于该多个摄像机的中心；
第一编码器，其当所述多个摄像机中的多个其它摄像机被排列成一行且位于中心的摄像机处在该行的中心位置时，参考由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频，执行对由位于中心的摄像机所拍摄的视频的时间估计；
第二编码器，其参考由与位于中心的摄像机相邻的摄像机所拍摄的以前时间的视频以及由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频，执行对由其它摄像机所拍摄的视频的时间-空间估计；以及
复用器，其复用第一编码器的输出和第二编码器的输出。
28、如权利要求27所述的编码系统，其中，在所述第二编码器中，至少参考等于预定数目的参考图像的多个以前时间的视频、至少对由其它摄像机所拍摄的视频所参考的以前时间的视频执行所述时间-空间估计。
29、如权利要求28所述的编码系统，其中，在所述第二编码器中，所述时间-空间估计参考由落在由与位于中心的摄像机相邻的摄像机所拍摄的以前时间的视频和目前将被估计的视频之间的一角度范围内的所有多个摄像机所拍摄的视频而执行。
30、如权利要求27所述的编码系统，其中，所述第一编码器的输出为基础层视频，并且所述第二编码器的输出为基础层视频的至少一个加强层视频。
31、一种用于视频的三维解码的方法，该方法包括：
将视频比特流解复用成基础层视频和至少一个加强层视频；
对所述基础层视频解码，以便对通过当多个其它摄像机被排列成一行且位于中心的摄像机处于该行的中心位置时，参考由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频而执行对由位于中心的摄像机所拍摄的视频的时间估计而编码的视频进行解码；以及
基于网络资源对至少一个加强层视频解码，以便对通过参考由与位于中心的摄像机相邻的摄像机所拍摄的以前时间的视频以及由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频而执行对由其它摄像机所拍摄的视频的时间-空间编码而编码的视频解码。
32、如权利要求31所述的方法，其中，在所述对至少一个加强层视频的编码中，在执行对由其它摄像机所拍摄的视频的时间-空间估计中，至少参考与预定数目的参考图像相等的多个以前时间的视频，至少对由其它摄像机所拍摄的视频所参考的以前时间的视频执行所述时间-空间估计。
33、如权利要求32所述的方法，其中，所述参考图像的预定数目为5。
34、如权利要求32所述的方法，其中，在所述对至少一个加强层视频的编码中，在执行对由其它摄像机所拍摄的视频的时间-空间估计中，所述时间-空间估计还进一步参考由与位于中心的摄像机相邻的摄像机所拍摄的当前视频而执行。
35、如权利要求32所述的方法，其中，在所述对至少一个加强层视频的编码中，在执行对由其它摄像机所拍摄的视频的时间-空间估计中，参考由落在由与位于中心的摄像机相邻的摄像机所拍摄的以前时间的视频和目前将被估计的视频之间的一角度范围内的所有多个摄像机所拍摄的视频而执行所述时间-空间估计。
36、一种用于视频的三维解码的方法，该方法包括：
将视频比特流解复用成基础层视频和至少一个加强层视频；
对所述基础层视频解码，以便对通过参考由与当前将被编码的视频的中心相邻的摄像机所拍摄的以前时间的视频而编码的视频解码；以及
基于网络资源对所述至少一个加强层视频解码，以便对通过按照预定数目的参考图像进一步参考同样多的、与相邻于视频的中心的摄像机相邻的以前时间的视频执行时间-空间估计而编码的视频解码。
37、如权利要求36所述的方法，其中，与视频的中心相邻的摄像机和目前将被编码的视频之间的角度随着相邻摄像机之间的间隔而变化。
38、一种用于视频的三维解码的方法，通过该方法由二维排列的摄像机所拍摄的多个视频被编码，所述方法包括：
将视频比特流解复用成基础层视频和至少一个加强层视频；
对所述基础层视频解码，以便对通过对由在二维排列的其它摄像机中位于中心的摄像机所拍摄的视频编码而编码的视频解码；以及
基于网络资源对所述至少一个加强层视频解码，以便对通过按照基于到位于中心的摄像机的距离最短的顺序、顺序地对由其它摄像机所拍摄的视频编码而编码的视频解码。
39、如权利要求38所述的方法，其中，在对顺序编码的至少一个加强层视频的解码中，如果存在多个到位于中心的摄像机的距离相等的摄像机，则对具有相同距离的多个摄像机的编码以螺旋方式顺序地执行。
40、一种包含计算机可读代码的计算机可读介质，该计算机可读代码执行用于视频的三维解码的方法，所述方法包括：
将视频比特流解复用成基础层视频和至少一个加强层视频；
对所述基础层视频解码，以便对通过在多个其它摄像机被排列成一行且位于中心的摄像机处于该行的中心位置时，参考由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频而执行对由位于中心的摄像机所拍摄的视频的时间估计而编码的视频解码；以及
基于网路资源对所述至少一个加强层视频解码，以便对通过参考由与位于中心的摄像机相邻的摄像机所拍摄的以前时间的视频以及由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频而执行对由其它摄像机所拍摄的视频的时间-空间估计而编码的视频解码。
41、一种用于视频的三维解码的解码器，包括：
解复用器，其将视频比特流解复用成基础层视频和至少一个加强层视频；
第一解码器，其通过对通过当多个其它摄像机被排列成一行且位于中心的摄像机处于该行的中心位置时，参考由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频而执行对由位于中心的摄像机所拍摄的视频的时间估计而编码的视频解码，对基础层视频解码；以及
第二解码器，其通过对通过参考由与位于中心的摄像机相邻的摄像机所拍摄的以前时间的视频以及由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频而执行对由其它摄像机所拍摄的视频的时间-空间编码而编码的视频解码，基于网络资源对至少一个加强层视频解码。
42、如权利要求41所述的解码器，其中，在所述对至少一个加强层视频的编码中，在执行对由其它摄像机所拍摄的视频的时间-空间估计中，至少参考等于预定数目的参考图像的多个以前时间的视频，至少对由其它摄像机所拍摄的视频所参考的以前时间的视频执行所述时间-空间估计。
43、如权利要求42所述的解码器，其中，所述参考图像的预定数目为5。
44、如权利要求42所述的解码器，其中，在所述对至少一个加强层视频的编码中，在执行对由其它摄像机所拍摄的视频的时间-空间估计中，所述时间-空间估计还进一步参考由与位于中心的摄像机相邻的摄像机所拍摄的当前视频而执行。
45、如权利要求42所述的解码器，其中，在所述对至少一个加强层视频的编码中，在执行对由其它摄像机所拍摄的视频的时间-空间估计中，所述时间-空间估计参考由落在由与位于中心的摄像机相邻的摄像机所拍摄的以前时间的视频和目前将被估计的视频之间的一角度范围内的所有多个摄像机所拍摄的视频而执行。
46、一种用于视频的三维解码的解码器，包括：
解复用器，其将视频比特流解复用为基础层视频和至少一个加强层视频；
第一解码器，其通过对通过参考由与当前将被编码的视频的中心相邻的摄像机所拍摄的以前时间的视频而编码的视频解码，对所述基础层视频解码；以及
第二解码器，其通过对通过按照预定数目的参考图像进一步参考同样多的、与相邻于视频的中心的摄像机相邻的以前时间的视频执行时间-空间估计而编码的视频解码，基于网路资源对所述至少一个加强层视频解码。
47、如权利要求46所述的解码器，其中，所述与视频的中心相邻的摄像机和目前将被编码的视频之间的角度随着相邻摄像机之间的间隔而变化。
48、一种用于视频的三维解码的解码器，通过该解码器由二维排列的摄像机所拍摄的多个视频被编码，包括：
解复用器，其将视频比特流解复用成基础层视频和至少一个加强层视频；
第一解码器，其通过对通过对由在二维排列的其它摄像机中位于中心的摄像机所拍摄的视频编码而编码的视频解码，对所述基础层视频解码；以及
第二解码器，其通过对通过按照基于到位于中心的摄像机的距离最短的顺序、顺序地对由其它摄像机所拍摄的视频编码而编码的视频解码，基于网络资源对所述至少一个加强层视频解码。
49、如权利要求48所述的解码器，其中，在所述对顺序编码的至少一个加强层视频的解码中，如果存在多个摄像机
50、一种三维编码信号，包括：
通过当多个其它摄像机被排列且位于中心的摄像机处于所排列的位于中心的摄像机的中心位置时，参考由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频，对由位于中心的摄像机所拍摄的视频执行时间估计而编码的基础层视频；和
通过参考由与位于中心的摄像机相邻的摄像机所拍摄的以前时间的视频和由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频，对由其它摄像机所拍摄的视频执行时间-空间估计而编码的至少一个加强层视频，
其中，所述基础层视频和所述至少一个加强层视频被复用以生成所述三维编码信号。
CN200580000210A 2004-01-20 2005-01-20 用于视频的三维编码和/或解码的方法及装置 Expired - Fee Related CN100584004C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020040004423A KR100987775B1 (ko) 2004-01-20 2004-01-20 영상의 3차원 부호화 방법
KR1020040004423 2004-01-20

Publications (2)

Publication Number Publication Date
CN1771734A true CN1771734A (zh) 2006-05-10
CN100584004C CN100584004C (zh) 2010-01-20

Family

ID=36751988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200580000210A Expired - Fee Related CN100584004C (zh) 2004-01-20 2005-01-20 用于视频的三维编码和/或解码的方法及装置

Country Status (5)

Country Link
US (1) US7817181B2 (zh)
EP (1) EP1707010A4 (zh)
KR (1) KR100987775B1 (zh)
CN (1) CN100584004C (zh)
WO (1) WO2005069630A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102045578A (zh) * 2009-10-16 2011-05-04 索尼公司 图像处理设备和图像处理方法
CN102461183A (zh) * 2009-06-16 2012-05-16 Lg电子株式会社 广播发射机、广播接收机及其3d视频处理方法
CN105791841A (zh) * 2010-01-06 2016-07-20 杜比实验室特许公司 用于多层视频系统的复杂度自适应可伸缩解码及流处理
CN114269625A (zh) * 2019-08-13 2022-04-01 索尤若驱动有限及两合公司 具有能沿着编码区域移动的移动装置的系统、特别是设施和用于运行这种系统的方法

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100584603B1 (ko) * 2004-08-03 2006-05-30 학교법인 대양학원 다시점 영상의 다이렉트 모드 움직임 예측 방법 및 장치
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
US8644386B2 (en) 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
US9131247B2 (en) 2005-10-19 2015-09-08 Thomson Licensing Multi-view video coding using scalable video coding
WO2007081117A1 (en) * 2006-01-07 2007-07-19 Electronics And Telecommunications Research Institute Method and apparatus for inter-viewing reference in multi-viewpoint video coding
KR101276847B1 (ko) 2006-01-12 2013-06-18 엘지전자 주식회사 다시점 비디오의 처리
WO2007081177A1 (en) 2006-01-12 2007-07-19 Lg Electronics Inc. Processing multiview video
MX2008012382A (es) * 2006-03-29 2008-11-18 Thomson Licensing Metodos y aparatos para usarse en un sistema de codificacion de video de multiples vistas.
US7643748B2 (en) * 2006-06-02 2010-01-05 James Cameron Platform for stereoscopic image acquisition
EP2052546A4 (en) * 2006-07-12 2010-03-03 Lg Electronics Inc METHOD AND DEVICE FOR SIGNAL PROCESSING
KR100815486B1 (ko) * 2006-08-18 2008-03-20 광주과학기술원 다시점 비디오의 인코더, 인코딩하는 방법, 및 이를 이용한 저장 매체
KR100893930B1 (ko) * 2006-12-04 2009-04-21 한국전자통신연구원 다시점 비디오 부호화를 위한 시간 직접예측 방법
MY162861A (en) 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
KR20100089705A (ko) * 2009-02-04 2010-08-12 삼성전자주식회사 3차원 영상 부호화/복호화 장치 및 방법
US9774882B2 (en) * 2009-07-04 2017-09-26 Dolby Laboratories Licensing Corporation Encoding and decoding architectures for format compatible 3D video delivery
US8457155B2 (en) * 2009-09-11 2013-06-04 Nokia Corporation Encoding and decoding a multi-view video signal
US8428122B2 (en) * 2009-09-16 2013-04-23 Broadcom Corporation Method and system for frame buffer compression and memory resource reduction for 3D video
US8665968B2 (en) * 2009-09-30 2014-03-04 Broadcom Corporation Method and system for 3D video coding using SVC spatial scalability
US9014276B2 (en) * 2009-12-04 2015-04-21 Broadcom Corporation Method and system for 3D video coding using SVC temporal and spatial scalabilities
EP2355510A1 (en) * 2009-12-21 2011-08-10 Alcatel Lucent Method and arrangement for video coding
EP2582142B1 (en) * 2010-06-09 2017-03-15 Samsung Electronics Co., Ltd Method for providing fragment-based multimedia streaming service and device for same, and method for receiving fragment-based multimedia streaming service and device for same
CN103262532B (zh) 2010-07-19 2018-03-09 杜比实验室特许公司 用于经采样复用的图像和视频数据的增强方法
US20120075436A1 (en) * 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
EP2625854A1 (en) * 2010-10-08 2013-08-14 Dolby Laboratories Licensing Corporation Scalable frame compatible multiview encoding and decoding methods
US10085017B2 (en) * 2012-11-29 2018-09-25 Advanced Micro Devices, Inc. Bandwidth saving architecture for scalable video coding spatial mode
KR101457888B1 (ko) * 2013-05-24 2014-11-04 주식회사 이에스엠연구소 기준점 보정을 이용한 3차원 영상 생성방법
US10284794B1 (en) 2015-01-07 2019-05-07 Car360 Inc. Three-dimensional stabilized 360-degree composite image capture
US9998663B1 (en) 2015-01-07 2018-06-12 Car360 Inc. Surround image capture and processing
KR101729164B1 (ko) * 2015-09-03 2017-04-24 주식회사 쓰리디지뷰아시아 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법
KR101729165B1 (ko) * 2015-09-03 2017-04-21 주식회사 쓰리디지뷰아시아 타임 슬라이스 영상용 오차교정 유닛
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US10812774B2 (en) 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
US10616621B2 (en) 2018-06-29 2020-04-07 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
US11019361B2 (en) 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
US10708494B2 (en) 2018-08-13 2020-07-07 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic video content
US11748844B2 (en) 2020-01-08 2023-09-05 Carvana, LLC Systems and methods for generating a virtual display of an item

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06269025A (ja) 1993-03-16 1994-09-22 Fujitsu Ltd 多眼式立体映像の符号化方式
JPH0750856A (ja) 1993-08-06 1995-02-21 Fujitsu Ltd 多眼式立体映像のレベル補正回路
US5619256A (en) 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
US5612735A (en) * 1995-05-26 1997-03-18 Luncent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
US5652616A (en) * 1996-08-06 1997-07-29 General Instrument Corporation Of Delaware Optimal disparity estimation for stereoscopic video coding
JP3931392B2 (ja) * 1997-08-25 2007-06-13 ソニー株式会社 立体画像用ビデオ信号生成装置、立体画像用ビデオ信号送出装置および立体画像用ビデオ信号受信装置
JP2001016609A (ja) 1999-06-05 2001-01-19 Soft Foo Deii:Kk Ｍｐｅｇデータを用いた立体映像生成装置及び方法
JP2001061164A (ja) 1999-08-19 2001-03-06 Toshiba Corp 立体映像信号伝送方法
US6567081B1 (en) * 2000-01-21 2003-05-20 Microsoft Corporation Methods and arrangements for compressing image-based rendering (IBR) data using alignment and 3D wavelet transform techniques
KR100375708B1 (ko) 2000-10-28 2003-03-15 전자부품연구원 3차원 입체영상을 위한 다시점 비디오 시스템 및영상제조방법
KR200232954Y1 (ko) 2001-03-16 2001-10-26 김영종 식탁을 구비한 냉장고
US7643559B2 (en) * 2001-09-14 2010-01-05 Ntt Docomo, Inc. Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program
KR100424401B1 (ko) 2001-11-02 2004-03-24 전자부품연구원 검색기능을 포함한 3차원 입체영상을 위한 다시점영상통신 시스템
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
KR100523930B1 (ko) * 2003-01-13 2005-10-26 전자부품연구원 다시점 영상의 압축/복원장치
US7489342B2 (en) * 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
US7333544B2 (en) * 2003-07-16 2008-02-19 Samsung Electronics Co., Ltd. Lossless image encoding/decoding method and apparatus using inter-color plane prediction
KR200337140Y1 (ko) 2003-10-10 2004-01-03 엘 앤드 케이 프리시젼 테크놀러지 컴파니 리미티드 기판-기판 커넥터
KR200383285Y1 (ko) 2004-12-01 2005-05-03 주식회사 덕흥물산 브레지어의 와이어
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102461183A (zh) * 2009-06-16 2012-05-16 Lg电子株式会社 广播发射机、广播接收机及其3d视频处理方法
US9088817B2 (en) 2009-06-16 2015-07-21 Lg Electronics Inc. Broadcast transmitter, broadcast receiver and 3D video processing method thereof
CN102461183B (zh) * 2009-06-16 2015-08-19 Lg电子株式会社 广播发射机、广播接收机及其3d视频处理方法
US9578302B2 (en) 2009-06-16 2017-02-21 Lg Electronics Inc. Broadcast transmitter, broadcast receiver and 3D video data processing method thereof
CN102045578A (zh) * 2009-10-16 2011-05-04 索尼公司 图像处理设备和图像处理方法
CN102833564A (zh) * 2009-10-16 2012-12-19 索尼公司 图像处理设备和图像处理方法
CN102045578B (zh) * 2009-10-16 2013-05-01 索尼公司 图像处理设备和图像处理方法
CN105791841A (zh) * 2010-01-06 2016-07-20 杜比实验室特许公司 用于多层视频系统的复杂度自适应可伸缩解码及流处理
CN105791841B (zh) * 2010-01-06 2019-06-21 杜比实验室特许公司 用于网络上视频数据的自适应流处理的方法、装置和系统
CN114269625A (zh) * 2019-08-13 2022-04-01 索尤若驱动有限及两合公司 具有能沿着编码区域移动的移动装置的系统、特别是设施和用于运行这种系统的方法

Also Published As

Publication number Publication date
US7817181B2 (en) 2010-10-19
EP1707010A1 (en) 2006-10-04
US20050185712A1 (en) 2005-08-25
EP1707010A4 (en) 2011-05-18
CN100584004C (zh) 2010-01-20
WO2005069630A1 (en) 2005-07-28
KR100987775B1 (ko) 2010-10-13
KR20050076441A (ko) 2005-07-26

Similar Documents

Publication Publication Date Title
CN1771734A (zh) 用于视频的三维编码和/或解码的方法、介质及装置
CN1618237A (zh) 支持多显示模式的立体视频编码/译码装置及其方法
CN100399826C (zh) 基于多显示支持多视图视频对象的编码设备和方法
JP5268645B2 (ja) カメラパラメータを利用して視差ベクトルを予測する方法、その方法を利用して多視点映像を符号化及び復号化する装置、及びそれを行うためのプログラムが記録された記録媒体
CA2950964C (en) Method and apparatus of candidate generation for single sample mode in video coding
KR100728009B1 (ko) 다시점 동영상을 부호화하는 방법 및 장치
JP5199124B2 (ja) 多視点ビデオの処理
JP5232866B2 (ja) ビデオ符号化方法、ビデオ復号方法、ビデオコーダおよびビデオデコーダ
EP2538675A1 (en) Apparatus for universal coding for multi-view video
CN1204757C (zh) 一种立体视频流编码/解码器及其立体视频编解码系统
JP5059766B2 (ja) 視差ベクトルの予測方法、その方法を利用して多視点動画を符号化及び復号化する方法及び装置
CN101243692B (zh) 对多视角视频进行编码的方法和设备
US20090268816A1 (en) Advanced video coding to multiview video coding transcoder
JP4663792B2 (ja) 多視点動映像を符号化及び復号化する装置及び方法
CN1722838A (zh) 使用基础层的可伸缩性视频编码方法和设备
CN1781311A (zh) 使用注视检测来处理视频数据的设备和方法
KR20130056287A (ko) 비디오 데이터를 스트리밍하기 위한 서브-트랙 단편들의 배열
CN103370934A (zh) 多视点视频编码/解码装置和方法
CN103561267A (zh) 基于运动信息与深度信息的3d视频编码传输方法
CN1926879A (zh) 视频信号编码器、视频信号处理器、视频信号分发系统及其操作方法
JP2012227929A (ja) ３次元ビデオ信号を符号化する符号化方法及び符号化装置並びに対応する復号化方法及び復号化装置
WO2013146636A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
WO2007007923A1 (en) Apparatus for encoding and decoding multi-view image
JP5343792B2 (ja) 画像符号化装置、画像符号化方法およびそのプログラム
Zare et al. Self-contained slices in H. 264 for partial video decoding targeting 3D light-field displays

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: PRODUCTION AND TEACHING COOPERATION AGENCY EJONG

Free format text: FORMER OWNER: SCHOOL CORPORATION, OCEAN ACADEMY

Effective date: 20091225

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20091225

Address after: Special city, Seoul, Korea

Co-patentee after: Samsung Electronics Co., Ltd.

Patentee after: Sejong University

Address before: Seoul, South Kerean

Co-patentee before: Samsung Electronics Co., Ltd.

Patentee before: School juridical ocean school

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100120

Termination date: 20150120

EXPY Termination of patent right or utility model