CN108702498A - 信息处理器和信息处理方法 - Google Patents

信息处理器和信息处理方法 Download PDF

Info

Publication number
CN108702498A
CN108702498A CN201780014963.9A CN201780014963A CN108702498A CN 108702498 A CN108702498 A CN 108702498A CN 201780014963 A CN201780014963 A CN 201780014963A CN 108702498 A CN108702498 A CN 108702498A
Authority
CN
China
Prior art keywords
group
information
block
video camera
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780014963.9A
Other languages
English (en)
Inventor
古川权大
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108702498A publication Critical patent/CN108702498A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本公开内容涉及信息处理器和信息处理方法，利用该信息处理器和信息处理方法可以有效地获取在根据二维图像数据生成三维数据时使用的信息。分组单元将用于获取二维图像数据的多个虚拟摄像机分类至多个组。全局表生成单元生成全局表，在该全局表中登记与多个组中的每个组有关的组信息。组表生成单元生成组表，在该组表中针对每个组登记了摄像机信息，在根据被分类至该组的虚拟摄像机所获取的二维图像数据来生成三维数据时使用该摄像机信息。本公开内容可以例如应用于编码设备等。

Description

信息处理器和信息处理方法
技术领域
本公开内容涉及信息处理装置和信息处理方法，更具体地，涉及被配置成有效地获取在根据二维图像数据生成三维数据时使用的信息的信息处理装置和信息处理方法。
背景技术
已知一种再现装置，其中，根据使用两个或更多个摄像机(例如，参见非专利文献1和非专利文献2)拍摄的二维图像数据、深度图像数据等来生成三维数据，以及根据因此生成的三维数据来生成自由视点的二维图像数据(以下称为自由视点图像数据)，其中该自由视点是一个给定的虚拟视点。
利用这样的再现装置，可以执行浏览(walkthrough)操作，其中观看的人可以在观看空间中自由地行走以进行观看，该观看空间是与三维数据相对应的虚拟空间，可以根据使用所有摄像机成像的二维图像数据、深度图像数据等来生成该三维数据。
应当注意的是，深度图像数据表示由深度构成的图像数据，该深度指示每个像素的被摄体的深度方向(与成像表面垂直的方向)上的位置。此外，三维数据表示由三维对象的二维图像数据和三维位置信息构成的数据。
上述再现装置从服务器获取使用所有摄像机拍摄的二维图像数据、深度图像数据等，以便在生成自由视点图像数据时生成三维数据。
[引用列表]
[非专利文献]
[非专利文献1]：Saied Moezzi，Li-Cheng Tai，Philippe Gerard，“Virtual ViewGeneration for 3D Digital Video”，加利福尼亚大学圣迭戈分校
[非专利文献2]：Takeo Kanade和Peter Rander,P.J.Narayanan，“VirtualizedReality:Constructing Virtual Worlds from Real Scenes”
发明内容
技术问题
然而，如果自由视点是用于观看大范围观看空间的一部分的视点，则在生成自由视点图像数据时使用的三维数据所对应的虚拟空间与整个观看空间的比率是小的。因此，在这种情况下，再现装置没有必要获取在生成整个观看空间的三维数据时使用的所有摄像机的二维图像数据、深度图像数据等。
因此，本公开内容解决了与现有技术的方法和装置相关联的上述问题和其他问题，并且通过提供有效地获取以下信息的能力来解决所解决的问题：在根据二维图像数据生成三维数据时使用的信息。
解决问题的方案
在实现本公开内容时，并且根据本公开内容的第一方面，提供了一种信息处理装置。该信息处理装置包括：分组块，其被配置成将用于获取二维图像数据的多个摄像机分类至多个组；组信息生成块，其被配置成生成与上述多个组中的每个组相关的组信息；以及摄像机信息生成块，其被配置成针对上述组中的每个组生成摄像机信息，其中在根据被分类至上述组的上述摄像机所获取的上述二维图像数据来生成三维数据时使用该摄像机信息。
根据本公开内容的第一方面的信息处理方法对应于根据本公开内容的第一方面的信息处理装置。
在本公开内容的第一方面，将用于获取二维图像数据的两个或更多个摄像机分类至两个或更多个组，生成与上述两个或更多个组中的每个组相关的组信息，以及针对每个上述组生成摄像机信息，在根据被分类至上述组的上述摄像机所获取的上述二维图像数据来生成三维数据时使用该摄像机信息。
在实现本公开内容时，并且根据本公开内容的第二方面，提供了一种信息处理装置。该信息处理装置包括：组选择块，其被配置成当用于获取二维图像数据的多个摄像机被分类至多个组时，基于与上述组相关的组信息从上述多个组中选择预定组；以及摄像机信息获取块，其被配置成获取摄像机信息，其中在根据被分类至由上述组选择块选择的上述预定组的上述摄像机所获取的上述二维图像数据来生成三维数据时使用该摄像机信息。
根据本公开内容的第二方面的信息处理方法对应于根据本公开内容的第二方面的上述信息处理装置。
在本公开内容的第二方面，当用于获取二维图像数据的多个摄像机被分类至多个组时，基于与上述组相关的组信息从上述多个组中选择预定组，以及获取摄像机信息，其中在根据被分类至上述预定组的上述摄像机所获取的上述二维图像数据来生成三维数据时使用该摄像机信息。
应当注意的是，可以通过使计算机执行程序来实现根据第一方面和第二方面的信息处理装置。
此外，为了实现根据第一方面和第二方面的信息处理装置，要由计算机执行的程序可以通过经由传输介质的传输来提供，或者可以被记录至记录介质。
发明的有益效果
根据本公开内容的第一方面，可以生成信息。根据本公开内容的第一方面，可以生成信息，使得可以有效地获取在根据二维图像数据生成三维数据时使用的信息。
此外，根据本公开内容的第二方面，可以获取信息。根据本公开内容的第二方面，可以有效地获取在根据二维图像数据生成三维数据时使用的信息。
应当注意的是，这里描述的效果不一定限于此，即，可以获得本公开内容中描述的任何其他效果。
附图说明
[图1]是示出应用本公开内容的信息处理系统的第一实施方式的配置示例的框图。
[图2]是示出生成块的配置示例的框图。
[图3]是描述虚拟摄像机的第一分类方法的第一示例的图。
[图4]是描述虚拟摄像机的第一分类方法的第二示例的图。
[图5]是示出第一分类方法中的全局表的配置示例的图。
[图6]是描述虚拟摄像机的第二分类方法的图。
[图7]是示出第二分类方法中的全局表的配置示例的图。
[图8]是描述虚拟摄像机的第三分类方法的图。
[图9]是示出第三分类方法中的全局表的配置示例的图。
[图10]是示出组表的示例的图。
[图11]是描述由编码装置进行的编码处理的流程图。
[图12]是示出选择块的配置示例的框图。
[图13]是描述用于选择以第一分类方法的第一示例分类的组的选择方法的图。
[图14]是描述用于选择以第一分类方法的第二示例分类的组的选择方法的图。
[图15]是描述用于选择通过第二分类方法分类的组的选择方法的图。
[图16]是描述用于选择通过第三分类方法分类的组的选择方法的图。
[图17]是示出获取数据列表的第一示例的图。
[图18]是示出获取数据列表的第二示例的图。
[图19]是指示由解码装置进行的解码处理的流程图。
[图20]是示出客户端属性表的示例的图。
[图21]是示出在生成与客户端属性“个人计算机”相对应的全局表时要执行的虚拟摄像机的分类的图。
[图22]是描述在生成与客户端属性“便携式终端”相对应的全局表时要执行的虚拟摄像机的分类的图。
[图23]是描述在生成与客户端属性“瘦客户端”相对应的全局表时要执行的虚拟摄像机的分类的图。
[图24]是示出计算机的硬件配置示例的框图。
具体实施方式
以下描述了实践本公开内容的模式(以下称为实施方式)。应当注意的是，将按照以下顺序进行描述。
1.第一实施方式：信息处理系统(图1至图19)
2.第二实施方式：信息处理系统(图20至图23)
3.第三实施方式：计算机(图24)
<第一实施方式>
(信息处理系统的第一实施方式的配置示例)
图1是示出应用本公开内容的信息处理系统的第一实施方式的配置示例的框图。
图1中示出的信息处理系统10包括：图像拍摄装置11、编码装置12(信息处理装置)、解码装置13(信息处理装置)以及显示装置14。信息处理系统10通过使用由图像拍摄装置11获取的二维图像数据等来生成自由视点图像数据，并且显示所生成的自由视点图像数据。
更具体地，信息处理系统10的图像拍摄装置11由多摄像机(multi-camera)、测距设备以及图像处理块构成。图像拍摄装置11的多摄像机由两个或更多个摄像机组成，每个摄像机对与其他摄像机至少部分共有的被摄体(subject)的运动图像的二维图像数据进行成像。测距设备例如安装在每个摄像机上，从而产生视点与摄像机的视点相同的深度图像数据。
图像拍摄装置11的图像处理块通过使用每个摄像机的视点的二维图像数据和深度图像数据以及每个摄像机的内部参数和外部参数，基于可视外壳(Visual Hull)等来执行建模，从而创建网格(mesh)。图像处理块生成几何信息(几何结构)以及该网格的二维图像数据作为被摄体的三维数据，该几何信息指示构成所创建的网格的每个点(顶点)的三维位置与每个点之间的连接(多边形)。
对于在图像处理块中生成三维数据的方法，可以采用非专利文献1、非专利文献2等中引用的方法中的任一种方法。图像处理块将三维数据提供至编码装置12。
编码装置12由转换块21、编码块22、生成块23、存储块24以及通信块25构成。
编码装置12的转换块21为两个或更多个虚拟摄像机中的每个摄像机分配唯一的摄像机ID。转换块21设置每个虚拟摄像机的内部参数和外部参数，以及指示是否执行全天空全景成像(all-sky panorama imaging)的全景标志。转换块21通过将每个虚拟摄像机的内部参数和外部参数以及全景标志与每个虚拟摄像机的摄像机ID相关联来将这些参数和标志提供至生成块23。应当注意的是，全天空全景成像表示在水平方向上周围360度以及在垂直方向上周围180度拍摄图像。
基于每个虚拟摄像机的内部参数和外部参数，转换块21根据从图像拍摄装置11提供的三维数据来生成由每个虚拟摄像机成像的同一时间的二维图像数据和深度图像数据。应当注意的是，这里的“同一时间”表示在生成三维数据中被视为相同成像时间的预定范围内的时间，因此不必总是完全相同的时间。
对于在转换块21中生成二维图像数据和深度图像数据的方法，特别地，可以采用在“Aiming at Ultimate Video Communication”，Masayuki Tanimoto,电子研究所(Theinstitute of Electronics),信息和通信工程师(Information and CommunicationEngineers)，技术研究报告(Technology Research Reports),CS,通信方案(Communication Schemes)110(323),73-78,2010年11月25日等中描述的方法。转换块21将每个虚拟摄像机的二维图像数据和深度图像数据提供至编码块22。
在本说明书中，假定二维图像数据的视点与深度图像数据的视点相同，但是这些视点可以彼此不同。此外，虚拟摄像机可以与图像拍摄装置11的摄像机相同或不同。
编码块22对从转换块21提供的虚拟摄像机的二维图像数据和深度图像数据进行编码。对于编码方法，可以使用AVC(高级视频编码)方法、HEVC(高效视频编码)方法等中的任一种。编码块22将作为编码结果获得的编码流提供至存储块24。
生成块23基于从转换块21提供的每个虚拟摄像机的内部参数和外部参数中的至少一个，将两个或更多个虚拟摄像机分类为两个或更多个组。生成块23生成全局表，全局表中登记了与两个或更多个组中的每个组相关的组信息。
此外，生成块23针对每个组生成组表，组表中登记了在根据二维图像数据生成三维图像数据时使用的摄像机信息，其中由被分类为每个组的虚拟摄像机来成像该二维图像数据。摄像机信息包括内部参数、外部参数、全景标志等。生成块23将全局表和组表提供至存储块24。
存储块24用作服务器，并且存储从生成块23提供的全局表和组表以及从编码块22提供的编码流。
通信块25读取存储在存储块24中的全局表，并将全局表发送至解码装置13。此外，响应于解码装置13的请求，通信块25从存储块24读取预定组的编码流和组表，并且将组表和编码流发送至解码装置13。
解码装置13由通信块30、选择块31、解码块32、三维数据生成块33和重建块34构成。用于识别观看显示装置14的用户的自由视点的自由视点信息在解码装置13中被输入，以提供至选择块31和重建块34。
解码装置13的通信块30接收从编码装置12的通信块25发送的全局表，并且将所接收的全局表提供至选择块31。基于在获取从选择块31提供的预定组的组表时使用的组表获取信息，通信块30向通信块25请求预定组的组表。响应于该请求，通信块30获取从通信块25发送的组表，并且将所获取的组表提供至选择块31。
此外，通信块30基于获取数据列表向通信块25请求编码流，该获取数据列表是登记有在获取从选择块31提供的编码流时使用的流获取信息的列表。响应于该请求，通信块30获取从通信块25发送的编码流，并且将所获取的编码流提供至解码块32。
基于自由视点信息和从通信块30提供的全局表，选择块31选择与生成自由视点图像数据所需的摄像机信息相对应的虚拟摄像机所被分类至的组。选择块31向通信块30提供在全局表中被登记为组信息的所选组的组表获取信息。
此外，选择块31从通信块30提供的组表中所登记的摄像机信息中选择在由三维数据生成块33生成三维数据时使用的摄像机信息。选择块31将包括在所选摄像机信息中的虚拟摄像机的外部参数和内部参数提供至三维数据生成块33。另外，选择块31将包括在所选摄像机信息中的流获取信息的获取数据列表提供至通信块30。
解码块32、三维数据生成块33以及重建块34根据从通信块30提供的编码流来再现自由视点图像数据等。
更具体地，解码块32通过与编码块22中使用的编码方案相对应的方案，对从通信块30提供的编码流进行解码。解码块32将作为解码结果而获得的每个虚拟摄像机的二维图像数据和深度图像数据提供至三维数据生成块33。
基于从选择块31提供的内部参数和外部参数，三维数据生成块33根据从解码块32提供的每个虚拟摄像机的二维图像数据和深度图像数据来生成三维数据，并且将所生成的三维数据提供至重建块34。
基于自由视点信息，重建块34生成该自由视点的虚拟摄像机的内部参数和外部参数。基于该自由视点的虚拟摄像机的内部参数和外部参数，重建块34根据从三维数据生成块33提供的三维数据来生成该自由视点的自由视点图像数据或该自由视点的自由视点图像数据和深度图像数据，并且将所生成的数据提供至显示装置14。
显示装置14由二维头戴式显示器、二维监视器、三维头戴式显示器、三维监视器等构成。显示装置14基于从三维数据生成块33提供的自由视点图像数据以二维显示方式来显示自由视点图像，或者基于该自由视点的深度图像数据和自由视点图像数据以三维显示方式来显示自由视点图像。(生成块的配置示例)
图2是示出图1中所示的生成块23的配置示例的框图。
图2中示出的生成块23由分组块51、全局表生成块52以及组表生成块53构成。
生成块23的分组块51基于从图1中所示的转换块21提供的每个虚拟摄像机的内部参数和外部参数中的至少一个，来将两个或更多个虚拟摄像机分类为两个或更多个组。分组块51生成每个组的组信息，并且将所生成的组信息提供至全局表生成块52。
另外，分组块51针对每个组将被分类至每个组的每个虚拟摄像机的摄像机ID、内部参数、外部参数和全景标记提供至组表生成块53。
全局表生成块52(组信息生成块)基于从分组块51提供的每个组的组信息来生成全局表。全局表生成块52将全局表提供至图1中示出的存储块24以存储全局表。
组表生成块53(摄像机信息生成块)基于从分组块51提供的、被分类为组的虚拟摄像机中的每个虚拟摄像机的摄像机ID、内部参数、外部参数以及全景标志，生成针对每个组的组表。组表生成块53将所生成的组表提供至图1中示出的存储块24以存储组表。
(对用于虚拟摄像机的第一分类方法的描述)
图3和图4是描述要由图2所示的分组块51执行的用于虚拟摄像机的第一分类方法的图。
在图3和图4示出的示例中，三个三维物体72-0至72-2由13个虚拟摄像机71-0至71-12来拍摄，作为主要被摄体。这同样适用于稍后将描述的图6。应当注意的是，在下文中，除非虚拟摄像机71-0至71-12需要彼此特别地进行区分，否则这些虚拟摄像机通称为虚拟摄像机71。
在这种情况下，在第一分类方法中，分组块51基于由虚拟摄像机71的外部参数指示的位置，通过使用k均值方法(k-means method)(k均值方法)等将虚拟摄像机71分类成组，例如如图3所示。因此，虚拟摄像机71被分类至任一个组中。在图3示出的示例中，分组块51将四个虚拟摄像机71-0至71-3分类为第一组，将五个虚拟摄像机71-4至71-8分类为第二组，并且将四个虚拟摄像机71-9至71-12分类为第三组。
此时，分组块51针对每个组确定包括了被分类至该组中的所有虚拟摄像机71的位置的区域73-0至73-2，从而获得区域73-0至73-2的重心74-0至74-2。任何彼此邻近的区域可以彼此接触或者不接触。
利用图3中示出的第一分类方法，虚拟摄像机71被分类至所述组中的一个组中，然而，如图4中所示将至少一个虚拟摄像机71分类至两个或更多个组中也是可行的。在这种情况下，针对包括由所有虚拟摄像机71的外部参数指示的位置的区域，分组块51设置构成该区域的一部分的部分区域，使得部分区域中的至少一个部分区域叠加在另一部分区域上。然后，针对每个部分区域，分组块51将位于每个部分区域中的虚拟摄像机71分类为一个组。
在图4示出的示例中，三个圆形部分区域81-0至81-2被设置成包括所有虚拟摄像机71的位置的区域。然后，位于部分区域81-0中的四个虚拟摄像机71-0至71-3被分类至第一组中，位于部分区域81-1中的五个虚拟摄像机71-4至71-8被分类至第二组中。此外，位于部分区域81-2中的六个虚拟摄像机71-7至71-12被分类至第三组中。因此，虚拟摄像机71-7和虚拟摄像机71-8被分类至第二组和第三组二者中。
此时，分组块51获得部分区域81-0至81-2的重心(中心)82-0至82-2。
应当注意的是，在图3和图4示出的示例中，要使用虚拟摄像机71拍摄的主要被摄体是三维物体，然而，该被摄体是三维空间也是可行的。(第一分类方法中全局表的配置示例)
图5是示出第一分类方法中的全局表的配置示例的图。
应当注意的是，在图5示出的示例中，组的数目为3，并且从0开始将组ID顺序地分配给组。
在图5示出的全局表中，登记了组信息，该组信息由与组ID相关的每个组的重心位置、区域信息以及组表获取信息构成。
重心位置是指示以下区域的每个重心(图3示出的示例中的重心74-0至74-2，以及图4示出的示例中的重心82-0至82-2)的位置的三维坐标：该区域包括被分类为组的所有虚拟摄像机的位置。在图5中，具有组ID i(i＝0，1，2)的组的重心位置被写为三维坐标(xi，yi，zi)。
区域信息是指示以下区域(图3示出的示例中的区域73-0至73-2，以及图4示出的示例中的部分区域81-0至81-2)的信息：该区域包括被分类为组的所有虚拟摄像机的位置。如果区域的形状与区域73-0至73-2一样不是圆的，则区域信息是该区域的每个顶点处的三维坐标。另一方面，如果区域的形状与部分区域81-0至81-2一样是圆的，则区域信息是例如指示区域的半径的信息。在图5示出的示例中，组ID为i的组的区域信息被写为区域i。
组表获取信息是例如用于标识在存储块24内全局表的位置的信息，诸如URL(统一资源定位符)。在图5中，组ID为i的组表获取信息被写为URL i。
(对用于虚拟摄像机的第二分类方法的描述)
图6是描述要由图2中所示的分组块51执行的用于虚拟摄像机的第二分类方法的图。
在第二分类方法中，转换块21将组成图像拍摄装置11的每个摄像机的内部参数和外部参数设置为每个虚拟摄像机的内部参数和外部参数。即，组成图像拍摄装置11的每个摄像机的内部参数和外部参数与每个虚拟摄像机的内部参数和外部参数相同。
此外，如图6所示出的，针对三维物体72-0至72-2中的每一个，分组块51将与二维图像数据相对应的虚拟摄像机分类为组，其中，三维物体72-0至72-2是被摄体。更具体地，针对每个虚拟摄像机，基于内部参数和外部参数，分组块51通过使用二维图像数据等来识别与三维数据生成块33所生成的三维数据相对应的三维物体。然后，针对每个三维物体，分组块51将与该三维物体相对应的虚拟摄像机分类为组。
在图6示出的示例中，分组块51将六个虚拟摄像机71-0至71-3、虚拟摄像机71-10以及虚拟摄像机71-11分类至与三维物体72-0相对应的组。此时，分组块51确定区域101，以获得区域101的重心102，其中该区域101包括了被分类至与三维物体72-0相对应的组中的所有虚拟摄像机71的位置。
另外，与对应于三维物体72-0的组一样，分组块51将虚拟摄像机71分类为与三维物体72-1和72-2相对应的组。然后，针对每个组，分组块51确定包括了被分类至该组中的所有虚拟摄像机71的位置的区域，以获得该区域的重心。
(第二分类方法中全局表的配置示例)
图7是示出第二分类方法中的全局表的配置示例的图。
图7中示出的全局表的配置与图5中示出的配置的不同在于：在组信息中还包括三维物体位置。
即，在图7示出的全局表中，与每个组的组ID相关联地，将三维物体的中心处的三维坐标登记为三维物体位置，其中该中心处的三维坐标提供了指示对应于该组的三维物体(图6示出的示例中的三维物体72-0至72-2)的信息。即，三维物体位置是指示图像拍摄装置11的以下摄像机所拍摄的二维图像数据等被用于生成哪个三维物体的三维数据的信息：该摄像机对应于被分类至每个组的虚拟摄像机。在图7中，组ID为i(i＝0，1，2)的特定组的三维物体位置被写为三维坐标(xsi，ysi，zsi)。
(对用于虚拟摄像机的第三分类方法的描述)
图8是描述要由图2所示的分组块51执行的用于虚拟摄像机的第三分类方法的图。
在第三分类方法中，虚拟摄像机的主要被摄体是三维空间。此外，与第二分类方法一样，转换块21将组成图像拍摄装置11的每个摄像机的内部参数和外部参数设置为每个虚拟摄像机的内部参数和外部参数。在图8示出的示例中，组成图像拍摄装置11的摄像机的数目为13，并且转换块21设置13个虚拟摄像机71-0至71-12的内部参数和外部参数。
此外，如图8所示出的，分组块51通过网格(grid)或泰森多边形(Voronoi)将三维空间划分为三维空间分区区域。在图8示出的示例中，13个虚拟摄像机71将三个三维空间分区区域121-0至121-2作为主要被摄体进行拍摄。应当注意的是，三维物体可以包括在由虚拟摄像机71拍摄的三维空间分区区域121-0至121-2中。
另外，如图8所示，针对三维空间分区区域121-0至121-2中的每一个，分组块51将与二维图像数据相对应的虚拟摄像机分类为组，其中三维空间分区区域121-0至121-2是被摄体。更具体地，基于每个虚拟摄像机的内部参数和外部参数，分组块51通过使用二维图像数据等来识别与三维数据生成块33所生成的三维数据相对应的三维空间分区区域。然后，针对每个三维空间分区区域，分组块51将与该三维空间分区区域相对应的虚拟摄像机分类至组中。
在图8示出的示例中，分组块51将六个虚拟摄像机71-0至71-3、虚拟摄像机71-10以及虚拟摄像机71-11分类至与三维空间分区区域121-0相对应的组中。此时，分组块51确定区域101，以获得区域101的重心102，其中该区域101包括被分类至与三维空间分区区域121-0相对应的组中的所有虚拟摄像机71的位置。
此外，与对应于三维空间分区区域121-0的组一样，分组块51将虚拟摄像机71分类为与三维空间分区区域121-1和121-2相对应的组。然后，针对每个组，分组块51确定包括了被分类至该组中的所有虚拟摄像机71的位置的区域，以获得该区域的重心。
(第三分类方法中全局表的配置示例)
图9是示出第三分类方法中全局表的图。
图9中示出的全局表的配置与图5中示出的配置的不同在于：在组信息中还包括三维空间分区区域位置。
即，在图9示出的全局表中，与每个组的组ID相关联地，将三维空间分区区域的中心处的三维坐标登记为三维空间分区区域位置，其中该中心处的三维坐标提供了指示对应于该组的三维空间分区区域(图8示出的示例中的三维空间分区区域121-0到121-2)的信息。即，三维空间分区区域位置是指示图像拍摄装置11的以下摄像机所拍摄的二维图像数据等被用于生成哪个三维空间分区区域的三维数据的信息：该摄像机对应于被分类至每个组中的虚拟摄像机。在图9中，组ID为i(I＝0，1，2)的组的三维空间分区区域位置被写为三维坐标(xci，yci，zci)。
(组表的示例)
图10是示出由图2所示的组表生成块53生成的组表的示例的图。
如图10中所示出的，在组表中，与被分类至对应于该组表的每个组中的每个虚拟摄像机的摄像机ID相关联地，将该虚拟摄像机的内部参数、外部参数、流获取信息、全景标志、立体摄像机信息以及优先级登记为摄像机信息。
在图10示出的示例中，被分类至对应于组表的组中的虚拟摄像机的数目为四个，并且这些虚拟摄像机的摄像机ID为0至3。此外，在图10中，摄像机ID为j(j＝0，1，2，3)的虚拟摄像机的内部参数被写为Kj，外部参数被写为Rj|Tj。
流获取信息由二维图像数据获取信息和深度图像数据获取信息构成。二维图像数据获取信息是在获取由虚拟摄像机拍摄的二维图像数据的编码流时使用的信息，例如用于标识二维图像数据在存储块24中的位置的信息，诸如URL。在图10中，摄像机ID为j的虚拟摄像机的二维图像数据获取信息被写为视频URLj。
深度图像数据获取信息是在获取由虚拟摄像机拍摄的深度图像数据的编码流时使用的信息，例如用于标识深度图像数据在存储块24中的位置的信息，诸如URL。在图10中，摄像机ID为j的虚拟摄像机的深度图像数据获取信息被写为深度URLj。
如果执行全天空全景图像拍摄，则全景标志为“真”；如果没有执行全天空全景图像拍摄，则为“假”。在图10示出的示例中，摄像机ID为0、2和3的虚拟摄像机的全景标志为“假”，摄像机ID为1的虚拟摄像机的全景标志为“真”。
如果自身虚拟摄像机的二维图像数据是构成三维图像数据的左眼二维图像数据和右眼二维图像数据中的一个，则登记立体摄像机信息，并且存在着用于拍摄另一二维图像数据的虚拟摄像机(以下称为配对摄像机)。立体摄像机信息是配对摄像机的摄像机ID。
优先级是关于生成三维数据的虚拟摄像机的摄像机信息的优先级。在图10示出的示例中，优先级越高，则优先级越小。
基于如上所述要登记在组表中的每个虚拟摄像机的摄像机信息，解码装置13的选择块31通过三维数据生成选择块33从所有登记的虚拟摄像机的摄像机信息中选择在生成三维数据中使用的摄像机信息。
(对由编码装置进行的处理的描述)
图11是描述要由图1中所示的编码装置12执行的编码处理的流程图。例如，编码处理在从图像拍摄装置11提供三维数据时开始。
在图11的步骤S11中，编码装置12的转换块21设置每个虚拟摄像机的内部参数、外部参数和全景标记。与分配给每个虚拟摄像机的摄像机ID相关联地，转换块21将该虚拟摄像机的内部参数、外部参数和全景标记提供至生成块23。
在步骤S12中，基于每个虚拟摄像机的内部参数和外部参数，转换块21根据从图像拍摄装置11提供的三维数据生成由每个虚拟摄像机拍摄的同一时间的二维图像数据和深度图像数据。转换块21将所生成的每个虚拟摄像机的二维图像数据和深度图像数据提供至编码块22。
在步骤S13中，编码块22对从转换块21提供的虚拟摄像机的二维图像数据和深度图像数据进行编码。编码块22将作为编码结果获得的编码流提供至存储块24。
在步骤S14中，基于从转换块21提供的每个虚拟摄像机的内部参数和外部参数中的至少一个，生成块23的分组块51(图2)将两个或更多个虚拟摄像机分类为两个或更多个组。分组块51生成每个组的组信息，并且将所生成的组信息提供至全局表生成块52。
此外，针对每个组，分组块51将被分类至该组的虚拟摄像机的摄像机ID、内部参数、外部参数和全景标志提供至组表生成块53。
在步骤S15中，基于从分组块51提供的每个组的组信息，全局表生成块52生成全局表。全局表生成块52将所生成的全局表提供至存储块24。
在步骤S16中，基于从分组块51提供的被分类至每个组的虚拟摄像机的摄像机ID、外部参数、内部参数和全景标志，组表生成块53生成针对每个组的组表。组表生成块53将所生成的组表提供至图1中示出的存储块24。
在步骤S17中，存储块24存储全局表、组表和编码流。
在步骤S18中，通信块25读取存储在存储块24中的全局表，并且将全局表发送至解码装置13，然后处理结束。
在该编码处理之后，响应于解码装置13的请求，通信块25从存储块24读取预定组的组表和编码流，并且将组表和编码流发送至解码装置13。
应当注意的是，在图11示出的示例中，针对每个三维数据设置每个虚拟摄像机的内部参数、外部参数和全景标志，然而，以预定间隔(例如，相同的场景间隔)针对每个三维数据设置这些信息项也是可行的。在这种情况下，针对预定间隔的每个三维数据生成全局表和组表。
(选择块的配置示例)
图12是示出图1中所示的选择块31的配置示例的图。
图12中示出的选择块31由全局表获取块141、组选择块142、组表获取块143和摄像机选择块144构成。
选择块31的全局表获取块141获取从通信块30提供的全局表，并且将所获取的全局表提供至组选择块142。
基于从全局表获取块141提供的全局表中所登记的组信息以及自由视点信息，组选择块142从所有组中选择具有以下虚拟摄像机的组：该虚拟摄像机与生成自由视点图像数据所需的摄像机信息相对应。选择块31将在全局表中登记的所选择的组的组表获取信息提供至组表获取块143。
组表获取块143将从组选择块142提供的组表获取信息提供至通信块30。另外，组表获取块143(摄像机信息获取块)基于该组表获取信息从通信块30获取从编码装置12发送的组表，并且将所获取的组表提供至摄像机选择块144。
摄像机选择块144从组表获取块143提供的组表中所登记的摄像机信息中选择在由三维数据生成块33生成三维数据时使用的摄像机信息。摄像机选择块144将包括在所选择的摄像机信息中的虚拟摄像机的内部参数和外部参数提供至三维数据生成块33。
另外，摄像机选择块144生成获取数据列表，并且将所生成的获取数据列表提供至通信块30，其中该获取数据列表登记有所选择的摄像机信息中所包括的摄像机ID、二维图像数据获取信息和深度图像数据获取信息。
(对第一组选择方法的描述)
图13是描述在通过参照图3描述的第一分类方法将虚拟摄像机分类为组时要由组选择块142执行的组选择方法的图。
应当注意的是，参照图13，与先前在图3中描述的部件类似的部件由相同的附图标记来表示。适当地略过重复描述。
在图13的情况下，在图5中示出的全局表中所登记的重心指示了其位置的重心74-0至74-2之中，组选择块142例如选择与自由视点信息所标识的自由视点的位置160最靠近的重心所对应的组。在图13示出的示例中，最靠近自由视点的位置160的重心是重心74-0。因此，组选择块142选择具有以下组ID的组：该组ID与重心74-0的重心位置相关联地登记在全局表中。
应当注意的是，组选择块142可以选择与以下区域信息相对应的组：该区域信息指示包括自由视点的位置的区域。
如上所述，组选择块142选择位于自由视点的位置160附近的虚拟摄像机71的组。因此，通信块30可以通过仅获取该组的组表来有效地获取生成自由视点图像数据所需的摄像机信息。
即，与自由视点的被摄体不同，在虚拟摄像机71的被摄体存在于远离自由视点的位置160的位置处的情况下，虚拟摄像机71的摄像机信息很可能是：该摄像机信息不是用于生成自由视点图像数据的。因此，通信块30可以通过仅获取位于自由视点的位置160附近的虚拟摄像机的组的组表来有效地获取生成自由视点图像数据所需的摄像机信息。
(对第二组选择方法的描述)
图14是描述在通过参照图4描述的第一分类方法将虚拟摄像机分类为组时要由组选择块142执行的组选择方法的图。
应当注意的是，参照图14，与先前在图4中描述的部件类似的部件由相同的附图标记来表示。适当地略过重复描述。
在图14的情况下，在图5中示出的全局表中登记的区域信息所指示的部分区域81-1-0至81-2中，组选择块142例如选择与自由视点信息所标识的自由视点的位置180最靠近的部分区域所对应的组。在图14示出的示例中，自由视点的位置180包括部分区域81-0和部分区域81-2。因此，组选择块142选择具有以下组ID的组：该组ID与部分区域81-0和部分区域81-2的区域信息相关联地登记在全局表中。
与图13的情况一样，在图14的情况下，组选择块142选择位于自由视点的位置180附近的虚拟摄像机71的组。因此，通信块30可以有效地获取生成自由视点图像数据所需的摄像机信息。
(对第三组选择方法的描述)
图15是描述在通过参照图6描述的第二分类方法将虚拟摄像机分类为组时要由组选择块142执行的组选择方法的图。
应当注意的是，参照图15，与先前在图6中描述的部件类似的部件由相同的附图标记来表示。适当地略过重复描述。
在图15的情况下，基于自由视点信息所标识的自由视点的位置200和方向201，组选择块142例如从图7示出的全局表中登记的三维物体位置所指示的三维物体72-0至72-2中选择在自由视点的图像中成为被摄体(位于自由视点的视角内)的三维物体。然后，组选择块142选择与所选择的三维物体相对应的组。在图15示出的示例中，自由视点的位置200位于三维物体72-0的左上方处，方向201是右下方向。因此，组选择块142选择具有以下组ID的组：该组ID与三维物体72-0的三维物体位置相关联地登记在全局表中。
如上所述，组选择块142选择与以下二维图像数据相对应的虚拟摄像机71的组：该二维图像数据用于由图像拍摄装置11生成三维物体72-0(其在自由视点的图像中成为被摄体)的三维数据。因此，通信块30可以通过仅获取该组的组表来有效地获取生成三维数据所需的摄像机信息，其中该三维数据在生成自由视点图像数据时使用。
(对第四组选择方法的描述)
图16是描述在通过参照图8描述的第三分类方法将虚拟摄像机分类为组时要由组选择块142执行的组选择方法的图。
应当注意的是，参照图16，与先前在图8中描述的部件类似的部件由相同的附图标记来表示。适当地略过重复描述。
在图16的情况下，组选择块142例如从图9示出的全局表中登记的三维空间分区区域位置所指示的三维空间分区区域121-0至121-2中选择与以下三维空间分区区域相对应的组：该三维空间分区区域包括自由视点信息所指定的自由视点的位置220。在图16示出的示例中，自由视点的位置220存在于三维空间分区区域121-0内。因此，组选择块142选择具有以下组ID的组：该组ID与三维空间分区区域121-0的三维空间分区区域位置相关联地登记在全局表中。
如上所述，组选择块142选择与以下二维图像数据相对应的虚拟摄像机71的组：该二维图像数据用于由图像拍摄装置11生成包括自由视点的位置220的三维空间分区区域121-0的三维数据。因此，通信块30可以通过仅获取该组的组表来有效地获取生成三维数据所需的摄像机信息，其中该三维数据在生成自由视点图像数据时使用。
(获取数据列表的示例)
图17和图18是示出由图12所示的摄像机选择块144生成的获取数据列表的示例的图。
如果解码装置13的处理能力相对高，或者处理的快速性不太重要，则从组表获取块143提供图10示出的组表，然后摄像机选择块144选择登记在组表中的所有摄像机信息，作为在由三维数据生成块33生成三维数据时使用的摄像机信息。
然后，摄像机选择块144生成图17示出的获取数据列表，在获取数据列表中登记了以下信息：图10示出的组表中所登记的所有摄像机ID，以及与这些摄像机ID相对应的二维图像数据获取信息和深度图像数据获取信息。
另一方面，例如，如果解码装置13的处理能力相对低，或者快速性是重要的，那么例如，在图10的组表中所登记的所有摄像机信息中，摄像机选择块144仅选择具有高优先级的摄像机信息，作为由三维数据生成块33生成三维数据时使用的摄像机信息。例如，摄像机选择块144仅选择优先级为1的摄像机ID为“0”、“2”、“3”的虚拟摄像机的摄像机信息。
然后，摄像机选择块144生成图18示出的获取数据列表，在该获取数据列表中登记了摄像机ID“0”、“2”和“3”以及与这些摄像机ID相对应的二维图像数据获取信息和深度图像数据获取信息。
(对解码装置进行的处理的描述)
图19是描述要由图1示出的解码装置13执行的解码处理的流程图。在由通信块30获取与要处理的编码流相对应的全局表、并且通过全局表获取块141(图12)将该全局表提供至组选择块142之后，该解码处理开始。
在图19的步骤S131中，基于自由视点信息和登记在全局表中的组信息，解码装置13的组选择块142选择以下组：与生成自由视点图像数据所需的摄像机信息相对应的虚拟摄像机被分类至该组。组选择块142通过组表获取块143将登记在全局表中的所选择的组的组表获取信息提供至通信块30。
在步骤S132中，基于组表获取信息，通信块30向通信块25请求组表。在步骤S133中，通信块30确定是否已经获取了响应于该请求从通信块25发送的组表。
如果在步骤S133中发现尚未获取组表，则处理保持在等待状态，直至获取组表。另一方面，如果在步骤S133中发现获取了组表，则通信块30通过组表获取块143将所获取的组表提供至摄像机选择块144。然后，处理进行至步骤S134。
在步骤S134中，摄像机选择块144从组表获取块143提供的组表中所登记的摄像机信息中选择在由三维数据生成块33生成三维数据时使用的摄像机信息。摄像机选择块144将包括在所选择的摄像机信息中的虚拟摄像机的内部参数和外部参数提供至三维数据生成块33。
在步骤S135中，摄像机选择块144生成获取数据列表，并且将所生成的获取数据列表提供至通信块30，在该获取数据列表中登记了在步骤S134中选择的摄像机信息中所包括的摄像机ID、二维图像数据获取信息和深度图像数据获取信息。
在步骤S136中，通信块30将计数值i设置为1。在步骤S137中，基于与在获取数据列表中登记的从开始起第i个摄像机ID相对应的二维图像数据获取信息和深度图像数据获取信息，通信块30向通信块25请求具有第i个摄像机ID的虚拟摄像机的编码流。
在步骤S138中，通信块30确定是否已经获取了响应于该请求从通信块25发送的具有第i个摄像机ID的虚拟摄像机的二维图像数据和深度图像数据的编码流。如果在步骤S138中发现尚未获取具有第i个摄像机ID的虚拟摄像机的编码流，则处理保持在等待状态，直至获取编码流。
另一方面，如果在步骤S138中发现获取了具有第i个摄像机ID的虚拟摄像机的编码流，则通信块30将所获取的编码流提供至解码块32。
接下来，在步骤S139中，解码块32对从通信块30提供的编码流进行解码。解码块32将作为解码结果获取的虚拟摄像机的二维图像数据和深度图像数据提供至三维数据生成块33。
在步骤S140中，通信块30确定计数值i是否等于或高于在获取数据列表中登记的摄像机ID的数目N。如果在步骤S140中发现计数值i低于数目N，则处理进行至步骤S141。
在步骤S141中，通信块30将计数值i增加1，并且将处理返回至步骤S137。然后，重复步骤S137至S141的处理操作，直至计数值i变得等于或高于数目N。
另一方面，如果在步骤S140中发现计数值i等于或高于数目N，则处理进行至步骤S142。在步骤S142中，基于从选择块31提供的内部参数和外部参数，三维数据生成块33根据从解码块32提供的虚拟摄像机的二维图像数据和深度图像数据来生成三维数据，并且将所生成的三维数据提供至重建块34。
在步骤S143中，基于自由视点的虚拟摄像机的内部参数和外部参数，重建块34根据从三维数据生成块33提供的三维数据来生成自由视点图像数据。此时，根据需要，除了自由视点图像数据以外，重建块34还生成自由视点的深度图像数据。
在步骤S144中，重建块34通过将在步骤S143中生成的自由视点图像数据提供至显示装置14来以二维方式在显示装置14上显示自由视点图像。可替选地，重建块34通过将在步骤S144中生成的自由视点图像数据和自由视点的深度图像数据提供至显示装置14来以三维方式在显示装置14上显示自由视点图像。然后，处理结束。
如上所述，在信息处理系统10中，编码装置12生成每个组的全局表和组表。因此，解码装置13可以基于全局表来选择预定组，以仅获取所选择的组的组表。
因此，如果自由视点是用于观看大范围观看空间的一部分的视点，则解码装置13不需要浪费地获取对于生成自由视点图像数据而言不需要的虚拟摄像机的摄像机信息。因此，解码装置13可以有效地获取摄像机信息。
另外，基于在所获取的组表中登记的摄像机信息，解码装置13通过向编码装置12请求编码流，不需要获取对于生成自由视点图像数据而言不需要的虚拟摄像机的编码流。因此，解码装置13可以有效地获取编码流。
<第二实施方式>
(客户端属性表的示例)
应用本公开内容的信息处理系统的第二实施方式的配置与图1中示出的信息处理系统10的配置的不同在于：生成了针对解码装置13的不同规格(处理能力)的不同全局表，并且生成客户端属性表，在该客户端属性表中每个全局表与解码装置13的处理能力相关联。因此，在下文中，仅描述全局表和客户端属性表。
图20是示出客户端属性表的示例的图。
在图20示出的客户端属性表中，作为全局表的获取表的全局表获取信息与客户端属性相关联地登记。客户端属性表示指示解码装置13的处理能力的信息。在图20示出的示例中，三个信息项，“个人计算机”、“便携式终端”和“瘦客户端”在客户端属性表中被登记为客户端属性。
客户端属性“个人计算机”是指示个人计算机等的相对高处理能力的信息。客户端属性“便携式终端”是指示便携式终端等的相对低处理能力的信息。客户端属性“瘦客户端”是指示以下处理能力的信息：该处理能力能够仅生成特定被摄体的自由视点图像数据，即，切换特定被摄体的视点。
在第二实施方式中，生成块23生成客户端属性表，并且将所生成的客户端属性表存储在存储块24中，并且通信块25将所存储的客户端属性表发送至解码装置13。此外，在第二实施方式中，因为根据解码装置13的处理能力制备了不同的全局表，因此通信块25在解码装置13请求之前不发送全局表。
基于通过通信块30从编码装置12获取的客户端属性表，全局表获取块141识别与指示解码装置13的处理能力的客户端属性相对应的全局表获取信息。基于所识别的全局表获取信息，全局表获取块141通过通信块30向编码装置12请求与解码装置13的处理能力相对应的全局表，从而获取该全局表。
(针对每个客户端属性的虚拟摄像机分类的描述)
图21至图23是描述在生成与客户端属性“个人计算机”、“便携式终端”和“瘦客户端”相对应的全局表时由分组块51执行的虚拟摄像机的分类的图。
在图21至图23示出的示例中，六个三维物体242-0至242-5由13个虚拟摄像机241-1至241-13进行拍摄，作为主要被摄体。应当注意的是，在下文中，除非虚拟摄像机241-1至241-13特别地需要进行区分，否则这些虚拟摄像机通称为虚拟摄像机241。同样，三维物体242-0至242-5通称为三维物体242。
在生成与客户端属性“个人计算机”相对应的全局表时，分组块51例如通过图21中示出的第一分类方法将虚拟摄像机241分类为相对较少数目的组。
在图21示出的示例中，分组块51将四个虚拟摄像机241-1至241-4分类为第一组，将四个虚拟摄像机241-5至241-8分类为第二组，并且将五个虚拟摄像机241-9至241-13分类为第三组。
此时，全局表生成块52确定包括属于上述组的所有虚拟摄像机241的位置的区域243-0至243-2，以获得区域243-0至243-2的重心244-0至244-2。由于在生成与客户端属性“个人计算机”相对应的全局表时的组的数目相对少，因此在图21示出的示例中区域243-0至243-2中的每个区域中包括两个三维物体242。
如上所述，在生成与客户端属性“个人计算机”相对应的全局表时，组的数目相对少。因此，被分类至一个组的虚拟摄像机241的数目相对多。因此，解码装置13可以通过使用被分类至预定组的相对多数目的虚拟摄像机241的编码流来生成高精度的自由视点图像数据。
即，如果解码装置13获得与客户端属性“个人计算机”相对应的全局表，则解码装置13的处理能力相对高。因此，可以处理相对大数量的虚拟摄像机241的编码流。因此，在与客户端属性“个人计算机”相对应的全局表中，可以使被分类至一个组的虚拟摄像机241的数目变大，从而使得能够生成高精度的自由视点图像数据。
与之相比，在生成与客户端属性“便携式终端”相对应的全局表时，分组块51例如通过图22中示出的第一分类方法将虚拟摄像机241分类为相对大数量的组。
在图22示出的示例中，分组块51将两个虚拟摄像机241-1和241-2分类为第一组，并且将两个虚拟摄像机241-3和241-4分类为第二组。此外，分组块51将两个虚拟摄像机241-5和241-6分类为第三组，并且将两个虚拟摄像机241-7和241-8分类为第四组。此外，分组块51将三个虚拟摄像机241-9至241-11分类为第五组，并且将两个虚拟摄像机241-12和241-13分类为第六组。
此时，全局表生成块52确定包括属于上述组的所有虚拟摄像机241的位置的区域260-0至260-5，以获得区域260-0至260-5的重心261-0至261-5。由于在生成与客户端属性“便携式终端”相对应的全局表时的组的数目相对多，因此例如在图22示出的示例中区域243-0至243-5中的每个区域中仅包括一个三维物体242。
如上所述，在生成与客户端属性“便携式终端”相对应的全局表时，组的数目相对多。因此，被分类至一个组中的虚拟摄像机241的数目相对少。因此，解码装置13可以通过使用被分类至预定组中的相对少数量的虚拟摄像机241的编码流来容易地生成自由视点图像数据。
即，如果解码装置13获取与客户端属性“便携式终端”相对应的全局表，则解码装置13的处理能力相对低。因此，难以处理相对大数量的虚拟摄像机241的编码流。因此，在与客户端属性“便携式终端”相对应的全局表中，可以将要分类至一个组的虚拟摄像机241的数目变得少，从而使得能够减轻用于生成自由视点图像数据的处理的负荷。
应当注意的是，与客户端属性“个人计算机”和客户端属性“便携式终端”相对应的全局表的配置类似于图5示出的上述配置，因此，略过对该相应全局表的配置的描述。
此外，在生成与客户端属性“个人计算机”和客户端属性“便携式终端”相对应的全局表时使用的分类方法可以是第二分类方法或者第三分类方法而非第一分类方法。
在生成与客户端属性“瘦客户端”相对应的全局表时，分组块51针对每个三维物体242，基于虚拟摄像机241的视角将每个三维物体242的视角内的比率等于或高于阈值的虚拟摄像机241分类至组，例如如图23所示。
在图23示出的示例中，分组块51将三维物体242-0的视角内的比率等于或高于阈值的两个虚拟摄像机241-1和241-2分类为第一组，并且将三维物体242-1的视角内的比率等于或高于阈值的两个虚拟摄像机241-3和241-4分类为第二组。
此外，分组块51将三维物体242-2的视角内的比率等于或高于阈值的两个虚拟摄像机241-5和241-6分类为第三组，并且将三维物体242-3的视角内的比率等于或高于阈值的两个虚拟摄像机241-7和241-8分类为第四组。
此外，分组块51将三维物体242-4的视角内的比率等于或高于阈值的两个虚拟摄像机241-10和241-11分类为第五组，并且将三维物体242-5的视角内的比率等于或高于阈值的一个虚拟摄像机241-12分类为第六组。因此，虚拟摄像机241-9和虚拟摄像机241-13未被分类至第一组至第六组。
此时，全局表生成块52确定包括属于每个组的所有虚拟摄像机241的位置的区域280-0至280-5，以获得区域280-0至280-5的重心281-0至281-5。
如上所述，在生成与客户端属性“瘦客户端”相对应的全局表时，虚拟摄像机241针对作为被摄体的每个三维物体242，对每个三维物体242的视角内的比率等于或高于阈值的虚拟摄像机241进行分类。因此，解码装置13可以仅获取预定被摄体的视角内的比率等于或高于阈值的虚拟摄像机241的编码流。
即，如果解码装置13获取与客户端属性“瘦客户端”相对应的全局表，则解码装置13仅生成特定被摄体的自由视点图像数据。因此，不需要视角内特定被摄体的比率低于阈值的虚拟摄像机241的编码流。因此，在与客户端属性“瘦客户端”相对应的全局表中，针对作为被摄体的每个三维物体242，对每个三维物体242的视角内的比率等于或高于阈值的虚拟摄像机241进行分类。因此，解码装置13可以仅获取视角内特定被摄体的比率等于或低于阈值的虚拟摄像机241的编码流，该编码流是生成特定被摄体的自由视点图像数据所需要的。
应当注意的是，与客户端属性“瘦客户端”相对应的全局表的配置与图7中示出的上述配置相同，因此，略过对该相应全局表的描述。
在图21至图23示出的示例中，要由虚拟摄像机241拍摄的三维被摄体是三维物体，然而，该被摄体可以是三维空间。此外，在区域243-0至243-3(区域260-0至260-5、区域280-0至280-5)中，彼此邻近的那些区域可以彼此接触或不接触。
在第二实施方式中，针对解码装置13的每个处理能力生成全局表，然而，针对每个编码流的每个分辨率或比特率生成全局表也是可行的。在这种情况下，针对每个分辨率或比特率，仅是与具有该分辨率或比特率的编码流相对应的虚拟摄像机被分类为两个或更多个组，并且生成针对这两个或更多个组的全局表。
<第三实施方式>
(对应用本公开内容的计算机的描述)
上述处理操作序列可以由硬件或软件执行。如果处理操作序列由软件执行，则构成该软件的程序被安装在计算机上。这里，计算机包括组装有专用硬件的计算机或安装有各种程序以执行各种功能的通用计算机。
图24是示出计算机的硬件的配置示例的框图，其中，通过该计算机的硬件，由程序执行上述处理操作序列。
在计算机900中，CPU(中央处理单元)901、ROM(只读存储器)902和RAM(随机存取存储器)903利用总线904相互连接。
此外，输入/输出接口905连接至总线904。输入块906、输出块907、存储块908、通信块909以及驱动910连接至输入/输出接口905。
输入块906由键盘、鼠标、麦克风等组成。输出块907由显示器、扬声器等组成。存储块908由硬盘驱动器、非易失性存储器等构成。通信块909由网络接口等组成。驱动910驱动可移动介质911(例如磁盘、光盘、磁光盘或者半导体存储器)。
在如上所述配置的计算机900中，例如，CPU 901经由输入/输出接口905和总线904将存储在存储块908中的程序加载至RAM 903中，并且执行该程序，从而执行上述处理操作序列。
可以将要由计算机900(CPU 901)执行的程序提供为记录至可移动介质911，该可移动介质911是封装介质等。另外，可以通过有线或无线传输介质(例如局域网、因特网、数字广播卫星等)来提供程序。
在计算机900中，可以通过将记录有程序的可移动介质911装载至驱动910，经由输入/输出接口905将程序安装在存储块908中。此外，可以通过经由有线或无线传输介质在通信块909处接收程序，将程序安装在存储块908中。另外，可以预先将程序安装在ROM 902或存储块908中。
应当注意的是，要由计算机200执行的程序可以是以下程序：按照本说明书中描述的顺序按时间序列处理的程序；或者是并行处理或在必要时机(例如基于需求)处理的程序。
此外，在本说明书中，系统表示可以安装或不安装在同一壳体中的两个或更多个部件(装置、模块(部分)等)的集合。因此，安装在分离的壳体中并且通过网络互相连接的两个或更多个装置以及在一个壳体中安装有两个或更多个模块的一个装置均是系统。
此外，本说明书中记载的效果仅是说明性的，因此不限于此。即，可以存在其他效果。
本公开内容的实施方式不限于上述内容，因此，可以在不偏离本公开内容的主旨的情况下进行各种改变和修改。
例如，登记在组表中的内部参数和外部参数可以不是数据本身，而可以是用于获取数据的信息。
此外，可以在一个表中配置全局表、组表和客户端属性表。
此外，本公开内容还可以应用于以下信息处理系统：该信息处理系统基于MPEG-DASH执行流式传输(streaming)。
应当注意的是，本公开内容还可以采用以下配置。
(1)一种信息处理装置，包括：
分组块，其被配置成将用于获取二维图像数据的多个摄像机分类至多个组；
组信息生成块，其被配置成生成与所述多个组中的每个组相关的组信息；以及
摄像机信息生成块，其被配置成针对所述组中的每个组生成摄像机信息，所述摄像机信息用于根据被分类至组的摄像机所获取的二维图像数据来生成三维数据。
(2)根据以上方案(1)所述的信息处理装置，其中，
所述分组块被配置成针对用于再现所述二维图像数据的信息处理装置的每种处理能力，将所述多个摄像机中的至少一些摄像机分类至所述多个组。
(3)根据以上方案(1)或(2)所述的信息处理装置，其中，
所述分组块被配置成基于所述多个摄像机的位置将所述多个摄像机分类至所述多个组。
(4)根据以上方案(3)所述的信息处理装置，其中，
所述组信息被配置成指示区域的重心位置的信息，所述区域包括被分类至组的摄像机。
(5)根据以上方案(1)或(2)所述的信息处理装置，其中，
所述分组块被配置成针对与通过使用所述二维图像数据而生成的三维数据相对应的每个三维物体，将与所述二维图像数据相对应的摄像机分类至组。
(6)根据以上方案(5)所述的信息处理装置，其中，
所述组信息被配置成指示对应于组的三维物体的信息。
(7)根据以上方案(1)或(2)所述的信息处理装置，其中，
所述分组块被配置成针对与通过使用所述二维图像数据而生成的三维数据相对应的每个三维空间，将与所述二维图像数据相对应的摄像机分类至组。
(8)根据以上方案(7)所述的信息处理装置，其中，
所述组信息被配置成指示对应于组的三维空间的信息。
(9)一种信息处理方法，包括：
通过信息处理装置执行：
将用于获取二维图像数据的多个摄像机分类至多个组的分组步骤；
生成与所述多个组中的每个组相关的组信息的组信息生成步骤；以及
针对所述组中的每个组生成摄像机信息的摄像机信息生成步骤，所述摄像机信息用于根据被分类至组的摄像机所获取的二维图像数据来生成三维数据。
(10)一种信息处理装置，包括：
组选择块，其被配置成当用于获取二维图像数据的多个摄像机被分类至多个组时，基于与组相关的组信息从所述多个组中选择预定组；以及
摄像机信息获取块，其被配置成获取摄像机信息，所述摄像机信息用于根据被分类至由所述组选择块选择的所述预定组的摄像机所获取的二维图像数据来生成三维数据。
(11)根据以上方案(10)所述的信息处理装置，还包括：
三维数据生成块，其被配置成通过使用由所述摄像机信息获取块获取的摄像机信息，根据被分类至所述预定组的摄像机所获取的二维图像数据来生成三维数据。
(12)根据方案(10)或(11)所述的信息处理装置，其中，
所述组选择块被配置成：从针对所述信息处理装置的每种处理能力而分类所述多个摄像机中的至少一些摄像机的情况下得到的多个组之中的、与本信息处理装置的处理能力相对应的多个组中选择所述预定组。
(13)根据以上方案(10)至(12)中任一项所述的信息处理装置，其中，
所述多个摄像机被配置成基于所述多个摄像机的位置而被分类至所述多个组。
(14)根据以上方案(13)所述的信息处理装置，其中，
所述组信息被配置成指示区域的重心位置的信息，所述区域包括被分类至组的摄像机；以及
所述组选择块被配置成基于虚拟视点的位置和所述组信息来选择所述预定组。
(15)根据以上方案(10)至(12)中任一项所述的信息处理装置，其中，
与所述二维图像数据相对应的摄像机被配置成针对与通过使用所述二维图像数据生成的三维数据相对应的每个三维物体而被分类至组。
(16)根据以上方案(15)所述的信息处理装置，其中，
所述组信息被配置成指示对应于组的三维物体的信息；以及
所述组选择块被配置成将与以下组信息相对应的组选择作为所述预定组：所述组信息指示作为虚拟视点的图像中的被摄体的三维物体。
(17)根据以上方案(10)至(12)中任一项所述的信息处理装置，其中，
与所述二维图像数据相对应的摄像机被配置成针对与通过使用所述二维图像数据生成的三维数据相对应的每个三维空间而被分类至组。
(18)根据以上方案(17)所述的信息处理装置，其中，
所述组信息被配置成是指示对应于组的三维空间的信息；以及
所述组选择块被配置成将与以下组信息相对应的组选择作为所述预定组：所述组信息指示包括虚拟视点的三维空间。
(19)一种信息处理方法，包括：
通过信息处理装置执行：
当用于获取二维图像数据的多个摄像机被分类至多个组时，基于与组相关的组信息从所述多个组中选择预定组的组选择步骤；以及
获取摄像机信息的摄像机信息获取步骤，所述摄像机信息用于根据被分类至由所述组选择步骤的处理选择的所述预定组的摄像机所获取的二维图像数据来生成三维数据。
[附图标记列表]
12编码装置，13解码装置，33三维数据生成块，51分组块，52全局表生成块，53组表生成块，71虚拟摄像机，72-0至72-2三维物体，73-0至73-2区域，81-0至81-2部分区域，121-0至121-2三维空间分区区域，142组选择块，143组表获取块，160、200、220位置。

Claims (19)

1.一种信息处理装置，包括：
分组块，其被配置成将用于获取二维图像数据的多个摄像机分类至多个组；
组信息生成块，其被配置成生成与所述多个组中的每个组相关的组信息；以及
摄像机信息生成块，其被配置成针对所述组中的每个组生成摄像机信息，所述摄像机信息用于根据被分类至组的摄像机所获取的二维图像数据来生成三维数据。
2.根据权利要求1所述的信息处理装置，其中，
所述分组块被配置成针对用于再现所述二维图像数据的信息处理装置的每种处理能力，将所述多个摄像机中的至少一些摄像机分类至所述多个组。
3.根据权利要求1所述的信息处理装置，其中，
所述分组块被配置成基于所述多个摄像机的位置将所述多个摄像机分类至所述多个组。
4.根据权利要求3所述的信息处理装置，其中，
所述组信息被配置成指示区域的重心位置的信息，所述区域包括被分类至组的摄像机。
5.根据权利要求1所述的信息处理装置，其中，
所述分组块被配置成针对与通过使用所述二维图像数据而生成的三维数据相对应的每个三维物体，将与所述二维图像数据相对应的摄像机分类至组。
6.根据权利要求5所述的信息处理装置，其中，
所述组信息被配置成指示对应于组的三维物体的信息。
7.根据权利要求1所述的信息处理装置，其中，
所述分组块被配置成针对与通过使用所述二维图像数据而生成的三维数据相对应的每个三维空间，将与所述二维图像数据相对应的摄像机分类至组。
8.根据权利要求7所述的信息处理装置，其中，
所述组信息被配置成指示对应于组的三维空间的信息。
9.一种信息处理方法，包括：
通过信息处理装置执行：
将用于获取二维图像数据的多个摄像机分类至多个组的分组步骤；
生成与所述多个组中的每个组相关的组信息的组信息生成步骤；以及
针对所述组中的每个组生成摄像机信息的摄像机信息生成步骤，所述摄像机信息用于根据被分类至组的摄像机所获取的二维图像数据来生成三维数据。
10.一种信息处理装置，包括：
组选择块，其被配置成当用于获取二维图像数据的多个摄像机被分类至多个组时，基于与组相关的组信息从所述多个组中选择预定组；以及
摄像机信息获取块，其被配置成获取摄像机信息，所述摄像机信息用于根据被分类至由所述组选择块选择的所述预定组的摄像机所获取的二维图像数据来生成三维数据。
11.根据权利要求10所述的信息处理装置，还包括：
三维数据生成块，其被配置成通过使用由所述摄像机信息获取块获取的摄像机信息，根据被分类至所述预定组的摄像机所获取的二维图像数据来生成三维数据。
12.根据权利要求10所述的信息处理装置，其中，
所述组选择块被配置成：从针对所述信息处理装置的每种处理能力而分类所述多个摄像机中的至少一些摄像机的情况下得到的多个组之中的、与自身的信息处理装置的处理能力相对应的多个组中选择所述预定组。
13.根据权利要求10所述的信息处理装置，其中，
所述多个摄像机被配置成基于所述多个摄像机的位置而被分类至所述多个组。
14.根据权利要求13所述的信息处理装置，其中，
所述组信息被配置成指示区域的重心位置的信息，所述区域包括被分类至组的摄像机；以及
所述组选择块被配置成基于虚拟视点的位置和所述组信息来选择所述预定组。
15.根据权利要求10所述的信息处理装置，其中，
与所述二维图像数据相对应的摄像机被配置成针对与通过使用所述二维图像数据生成的三维数据相对应的每个三维物体而被分类至组。
16.根据权利要求15所述的信息处理装置，其中，
所述组信息被配置成指示对应于组的三维物体的信息；以及
所述组选择块被配置成将与以下组信息相对应的组选择作为所述预定组：所述组信息指示作为虚拟视点的图像中的被摄体的三维物体。
17.根据权利要求10所述的信息处理装置，其中，
与所述二维图像数据相对应的摄像机被配置成针对与通过使用所述二维图像数据生成的三维数据相对应的每个三维空间而被分类至组。
18.根据权利要求17所述的信息处理装置，其中，
所述组信息被配置成是指示对应于组的三维空间的信息；以及
所述组选择块被配置成将与以下组信息相对应的组选择作为所述预定组：所述组信息指示包括虚拟视点的三维空间。
19.一种信息处理方法，包括：
通过信息处理装置执行：
当用于获取二维图像数据的多个摄像机被分类至多个组时，基于与组相关的组信息从所述多个组中选择预定组的组选择步骤；以及
获取摄像机信息的摄像机信息获取步骤，所述摄像机信息用于根据被分类至由所述组选择步骤的处理选择的所述预定组的摄像机所获取的二维图像数据来生成三维数据。
CN201780014963.9A 2016-03-10 2017-02-24 信息处理器和信息处理方法 Pending CN108702498A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-046634 2016-03-10
JP2016046634 2016-03-10
PCT/JP2017/006988 WO2017154606A1 (ja) 2016-03-10 2017-02-24 情報処理装置および情報処理方法

Publications (1)

Publication Number Publication Date
CN108702498A true CN108702498A (zh) 2018-10-23

Family

ID=59790461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780014963.9A Pending CN108702498A (zh) 2016-03-10 2017-02-24 信息处理器和信息处理方法

Country Status (5)

Country Link
US (2) US10694081B2 (zh)
EP (1) EP3410387B1 (zh)
JP (1) JPWO2017154606A1 (zh)
CN (1) CN108702498A (zh)
WO (1) WO2017154606A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10311630B2 (en) * 2017-05-31 2019-06-04 Verizon Patent And Licensing Inc. Methods and systems for rendering frames of a virtual scene from different vantage points based on a virtual entity description frame of the virtual scene
US10586377B2 (en) 2017-05-31 2020-03-10 Verizon Patent And Licensing Inc. Methods and systems for generating virtual reality data that accounts for level of detail
JP7132730B2 (ja) * 2018-03-14 2022-09-07 キヤノン株式会社 情報処理装置および情報処理方法
WO2019231178A1 (ko) * 2018-06-01 2019-12-05 엘지전자 주식회사 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
JP7237538B2 (ja) * 2018-11-14 2023-03-13 キヤノン株式会社 情報処理装置、それを含むシステム、情報処理方法、およびプログラム
JP7204522B2 (ja) * 2019-02-20 2023-01-16 三菱電機株式会社 情報処理装置、空気調和機コントローラ、携帯装置、及び生成制御方法
CN111857111A (zh) * 2019-04-09 2020-10-30 商汤集团有限公司 对象三维检测及智能驾驶控制方法、装置、介质及设备
JPWO2022097613A1 (zh) * 2020-11-04 2022-05-12
US20230419604A1 (en) * 2020-11-30 2023-12-28 Nec Corporation Information processing apparatus, information processing method, and recording medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040179728A1 (en) * 2003-03-10 2004-09-16 Cranial Techonologies, Inc. Three-dimensional image capture system
CN101453662A (zh) * 2007-12-03 2009-06-10 华为技术有限公司 立体视频通信终端、系统及方法
CN101472190A (zh) * 2007-12-28 2009-07-01 深圳华为通信技术有限公司 多视角摄像及图像处理装置、系统及方法与解码处理方法
US20130301906A1 (en) * 2012-05-11 2013-11-14 Electronics And Telecommunications Research Institute Apparatus and method for reconstructing three dimensional faces based on multiple cameras

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07282298A (ja) * 1992-08-14 1995-10-27 Internatl Business Mach Corp <Ibm> メツシユの描画及び表示方法
JP3512919B2 (ja) * 1995-09-18 2004-03-31 株式会社東芝 物体形状・カメラ視点移動の復元装置及び復元方法
JPH10289315A (ja) * 1997-04-16 1998-10-27 Sony Corp 視差算出装置、距離算出装置およびこれらの方法
JP3777067B2 (ja) * 1999-07-07 2006-05-24 ペンタックス株式会社 写真測量画像処理装置、写真測量画像処理方法、および写真測量画像処理プログラムを格納した記憶媒体
JP4236202B2 (ja) * 2005-10-25 2009-03-11 日揮プランテック株式会社 モデリング装置およびカメラパラメータの計算方法
JP4889351B2 (ja) * 2006-04-06 2012-03-07 株式会社トプコン 画像処理装置及びその処理方法
JP2009290501A (ja) * 2008-05-29 2009-12-10 Funai Electric Co Ltd 監視カメラ及び監視システム
WO2010075726A1 (zh) 2008-12-30 2010-07-08 华为终端有限公司 立体全景视频流生成方法、设备及视频会议方法和设备
JP2015521411A (ja) * 2012-05-01 2015-07-27 ペリカン イメージング コーポレイション πフィルタ群を用いてパターン化されたカメラモジュール
EP2888720B1 (en) 2012-08-21 2021-03-17 FotoNation Limited System and method for depth estimation from images captured using array cameras
JP2015197745A (ja) * 2014-03-31 2015-11-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6305232B2 (ja) 2014-06-13 2018-04-04 キヤノン株式会社 情報処理装置、撮像装置、撮像システム、情報処理方法およびプログラム。
JP6621063B2 (ja) * 2015-04-29 2019-12-18 パナソニックＩｐマネジメント株式会社 カメラ選択方法及び映像配信システム
US10171794B2 (en) * 2015-04-29 2019-01-01 Panasonic Intellectual Property Management Co., Ltd. Method for selecting cameras and image distribution system capable of appropriately selecting cameras

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040179728A1 (en) * 2003-03-10 2004-09-16 Cranial Techonologies, Inc. Three-dimensional image capture system
CN101453662A (zh) * 2007-12-03 2009-06-10 华为技术有限公司 立体视频通信终端、系统及方法
CN101472190A (zh) * 2007-12-28 2009-07-01 深圳华为通信技术有限公司 多视角摄像及图像处理装置、系统及方法与解码处理方法
US20130301906A1 (en) * 2012-05-11 2013-11-14 Electronics And Telecommunications Research Institute Apparatus and method for reconstructing three dimensional faces based on multiple cameras

Also Published As

Publication number Publication date
EP3410387A1 (en) 2018-12-05
JPWO2017154606A1 (ja) 2019-01-10
US20190028616A1 (en) 2019-01-24
WO2017154606A1 (ja) 2017-09-14
EP3410387B1 (en) 2022-11-02
EP3410387A4 (en) 2019-01-23
US20200244843A1 (en) 2020-07-30
US10694081B2 (en) 2020-06-23

Similar Documents

Publication Publication Date Title
CN108702498A (zh) 信息处理器和信息处理方法
US20220174318A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
EP3751857A1 (en) A method, an apparatus and a computer program product for volumetric video encoding and decoding
KR102642406B1 (ko) 가상 현실 영상을 처리하는 방법 및 장치
JP6711913B2 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置及び三次元データ復号装置
US11457231B2 (en) Methods and apparatus for signaling spatial relationships for point cloud multimedia data tracks
CN110100435B9 (zh) 生成装置、识别信息生成方法、再现装置和图像再现方法
JP7218824B2 (ja) 情報処理装置および情報処理方法
CN108605093A (zh) 用于处理360度图像的方法和设备
TWI672947B (zh) 用於推導複合軌的方法和裝置
JP2006512644A (ja) ３次元画像情報記述装置とその方法及びこれを利用した３次元画像情報検索装置及びその方法
US20220286659A1 (en) Multi-view video processing method and apparatus
KR20200111643A (ko) 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법
KR20200112737A (ko) 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법
TW202116063A (zh) 用以編碼、傳輸及解碼容積視訊之方法及裝置
WO2019162564A1 (en) An apparatus, a method and a computer program for volumetric video
WO2018180511A1 (ja) 画像生成装置および画像生成方法、並びに画像再生装置および画像再生方法
EP4325851A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
WO2023023914A1 (zh) 帧内预测、编解码方法及装置、编解码器、设备、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181023

RJ01 Rejection of invention patent application after publication