CN108353157B - 编码设备和编码方法以及解码设备和解码方法 - Google Patents

编码设备和编码方法以及解码设备和解码方法 Download PDF

Info

Publication number
CN108353157B
CN108353157B CN201680064678.3A CN201680064678A CN108353157B CN 108353157 B CN108353157 B CN 108353157B CN 201680064678 A CN201680064678 A CN 201680064678A CN 108353157 B CN108353157 B CN 108353157B
Authority
CN
China
Prior art keywords
dimensional
image data
viewpoints
unit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680064678.3A
Other languages
English (en)
Other versions
CN108353157A (zh
Inventor
田中润一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN202110383257.XA priority Critical patent/CN113286137B/zh
Publication of CN108353157A publication Critical patent/CN108353157A/zh
Application granted granted Critical
Publication of CN108353157B publication Critical patent/CN108353157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开内容涉及使得可以获得与给定显示图像生成方法对应的视点的深度图像数据和二维图像数据而不管图像捕获时的视点的编码设备和编码方法以及解码设备和解码方法。根据从多个视点的二维图像数据生成的成像对象的三维数据，转换单元生成与给定显示图像生成方法对应的多个视点的二维图像数据，并且生成表示每个像素在成像对象的深度方向上的位置的深度图像数据。编码单元对由转换单元生成的深度图像数据和二维图像数据进行编码。发送单元发送由编码单元编码的深度图像数据和二维图像数据。本公开内容可应用于例如编码设备等。

Description

编码设备和编码方法以及解码设备和解码方法
技术领域
本公开内容涉及编码设备和编码方法以及解码设备和解码方法，并且具体地涉及通过其可以在不依赖于图像拾取时的视点的情况下获取深度图像数据以及与预定显示图像生成方法对应的视点的二维图像数据的编码设备和编码方法以及解码设备和解码方法。
背景技术
在多视点立体技术中，已经设计了一种传输系统，该传输系统记录、编码、发送、解码和显示包括由多个相机拾取的三维对象的三维位置信息和二维图像数据的三维数据(例如，参照NPL 1)。作为三维数据的编码方法，MPEG(运动图像专家组阶段)方法等是可用的(例如，参照NPL2)。
此外，已经设计了一种传输系统，通过该传输系统，不同视点的多片二维图像数据以及包括指示像素在拍摄对象的深度方向(垂直于图像拾取平面的方向)上的位置的深度的深度图像数据—两者均是从多个相机获取的—被记录、编码、发送、解码并按原样显示。作为用于对二维图像数据和深度图像数据进行编码的方法，MVCD(多视点和深度视频编码)方法、AVC(高级视频编码)方法、HEVC(高效视频编码)方法等是可用的。[引用列表]
[非专利文献]
[NPL1]
Ming Chuang,Pat Sweeney,Don Gillett,Dennis Evseev,David Calabrese,Hugues Hoppe,Adam Kirk,Steve Sullivan,“High-Quality Streamable Free-ViewpointVideo,Alvaro Collet”，微软公司
[NPL 2]
Marius Preda,“MPEG Graphics Compression Model”MPEG文件：N9892，2008年5月。
发明内容
[技术问题]
然而，在拍摄对象的三维信息作为三维数据被发送的情况下，在接收侧需要处理三维数据的高功能的处理单元。
同时，在以由多个相机获得的二维图像数据和深度图像数据的形式发送拍摄对象的三维信息的情况下，虽然接收侧的处理较容易，但是多个相机的视点不一定是适合于预定显示图像生成方法的视点，而且在接收侧出现视点的过量或不足。
本公开内容是考虑上述这种情况而作出的，并且使得可以在不依赖于图像拾取时的视点的情况下获取与预定显示图像生成方法对应的视点的二维图像数据和深度图像数据。
[问题的解决方案]
根据本公开内容的第一方面的编码设备是以下编码设备，包括：二维数据生成单元，其根据从多个第一视点的二维图像数据生成的拍摄对象的三维数据来生成与给定显示图像生成方法对应的多个第二视点的二维图像数据以及指示像素中的每个像素相对于第三视点在拍摄对象的深度方向上的位置的深度图像数据；编码单元，其对由所述二维数据生成单元生成的多个第二视点的二维图像数据和深度图像数据进行编码；以及发送单元，其发送由编码单元编码的多个第二视点的二维图像数据和深度图像数据。
根据本公开内容的第一方面的编码方法对应于本公开内容的第一方面的编码设备。
在本公开内容的第一方面中，根据从多个第一视点的二维图像数据生成的拍摄对象的三维数据生成与给定显示图像生成方法对应的多个第二视点的二维图像数据以及指示像素中的每个像素相对于第三视点在拍摄对象的深度方向上的位置的深度图像数据。然后，对所生成的多个第二视点的二维图像数据和深度图像数据进行编码，并且发送被编码的多个第二视点的二维图像数据和深度图像数据。
根据本公开内容的第二方面的解码设备是以下解码设备，包括：解码单元，其对与给定显示图像生成方法对应的多个第一视点的二维图像数据的编码数据以及指示像素中的每个像素相对于第二视点在拍摄对象的深度方向上的位置的深度图像数据的编码数据进行解码；三维数据生成单元，其使用由于解码单元的解码而获得的多个第一视点的二维图像数据和深度图像数据生成图像拾取对象的三维数据；以及二维数据生成单元，其基于由三维数据生成单元生成的三维数据通过给定显示图像生成方法生成二维图像数据作为显示图像数据。
根据本公开内容的第二方面的解码方法和程序对应于本公开内容的第二方面的解码设备。
在本公开内容的第二方面中，对与给定显示图像生成方法对应的多个第一视点的二维图像数据的编码数据以及指示像素中的每个像素相对于第二视点在拍摄对象的深度方向上的位置的深度图像数据的编码数据进行解码。然后，使用由于解码而获得的多个第一视点的二维图像数据和深度图像数据来生成拍摄对象的三维数据，并且基于所生成的三维数据通过给定显示图像生成方法生成二维图像数据作为显示图像数据。
应当指出的是，第一方面的编码设备和第二方面的解码设备可以通过使程序由计算机执行来实现。
此外，为了实现第一方面的编码设备和第二方面的解码设备，要由计算机执行的程序可以通过经由传输介质传输程序或者通过将程序记录在记录介质上来提供。
[发明的有益效果]
根据本公开内容的第一方面，可以执行编码。此外，根据本公开内容的第一方面，可以对深度图像数据和与给定显示图像生成方法对应的视点的二维图像数据进行编码，使得它们可以在不依赖于图像拾取时的视点的情况下由解码设备获取。
根据本公开内容的第二方面，可以执行解码。此外，根据本公开内容的第二方面，可以在不依赖于图像拾取时的视点的情况下获取深度图像数据和与给定显示图像生成方法对应的视点的二维图像数据。
应当指出的是，在此描述的效果不一定是限制性的，而是可以应用本公开内容中描述的效果中的任一效果。
附图说明
[图1]
图1是描绘了本公开内容所应用于的传输系统的第一实施方式的配置的示例的框图。
[图2]
图2是描绘了图1的转换单元的配置的示例的框图。
[图3]
图3是描绘了与预定显示图像生成方法对应的多个视点的示例的图。
[图4]
图4是描绘了相机相关信息的示例的图。
[图5]
图5是示出了图1的拍摄设备和编码设备的编码处理的流程图。
[图6]
图6是描绘了图1的转换单元的第一配置示例的框图。
[图7]
图7是描绘了图1的转换单元的第二配置示例的框图。
[图8]
图8是描绘了图1的转换单元的第三配置示例的框图。
[图9]
图9是示出了图1的解码设备的解码处理的流程图。
[图10]
图10是描绘了本公开内容所应用于的传输系统的第二实施方式的配置的示例的框图。
[图11]
图11是描绘了图10的拍摄设备的配置的示例的框图。
[图12]
图12是描绘了同步偏差信息的示例的图。
[图13]
图13是描绘了图10的编码设备的配置的示例的框图。
[图14]
图14是示出了图10的拍摄设备和编码设备的编码处理的流程图。
[图15]
图15是描绘了图10的解码单元的配置的示例的框图。
[图16]
图16是示出了图10的解码设备的解码处理的流程图。
[图17]
图17是描绘了本公开内容所应用于的传输系统的第三实施方式的配置的示例的框图。
[图18]
图18是描绘了图17的合成设备的配置的示例的框图。
[图19]
图19是示出了图18的合成设备的合成处理的流程图。
[图20]
图20是描绘了第四实施方式中的合成设备的配置的示例的框图。
[图21]
图21是示出了生成坐标变换数据的处理的图。
[图22]
图22是描绘了坐标变换信息的示例的图。
[图23]
图23是示出了图20的合成设备的合成处理的流程图。
[图24]
图24是描绘了第四实施方式中的转换单元的配置的示例的框图。
[图25]
图25是示出了第四实施方式中的解码设备的解码处理的流程图。
[图26]
图26是描绘了第五实施方式中的合成设备的配置的示例的框图。
[图27]
图27是描绘了色偏校正信息的示例的图。
[图28]
图28是示出了图26的合成设备的合成处理的流程图。
[图29]
图29是描绘了第五实施方式中的转换单元的配置的示例的框图。
[图30]
图30是描绘了计算机的硬件配置的示例的框图。
具体实施方式
在下面，描述了用于实施本公开内容的模式(在下文被称为实施方式)。应当指出的是，按下面的顺序给出了描述。
1.第一实施方式：传输系统(图1至图9)
2.第二实施方式：传输系统(图10至图16)
3.第三实施方式：传输系统(图17至图19)
4.第四实施方式：传输系统(图20至图25)
5.第五实施方式：传输系统(图26至图29)
6.第六实施方式：计算机(图30)
<第一实施方式>
(传输系统的第一实施方式的配置的示例)
图1是描绘了本公开内容所应用于的传输系统的第一实施方式的配置的示例的框图。
图1的传输系统10包括拍摄设备11、编码设备12、解码设备13和显示设备14。传输系统10使用从拍摄设备11获取的二维图像数据等根据预定显示图像生成方法来生成和显示显示图像数据。
具体地，传输系统10的拍摄设备11包括例如多相机(multi-camera)、测距仪和图像处理单元。拍摄设备11的多相机包括拾取拍摄对象的运动图像的二维图像数据的多个(例如八个)相机，这些相机至少在其部分上相同。例如，测距仪设置在每个相机中并且生成与相机的视点相同的视点的深度图像数据。
拍摄设备11的图像处理单元(三维数据生成单元)使用相机的视点的二维图像数据和深度图像数据以及相机的内部参数和外部参数通过可见外壳(Visual Hull)等执行建模以生成栅格。图像处理单元生成指示构成所生成的栅格的点(顶点)和点的连接(多边形)的三维位置的几何信息(几何学)以及栅格的二维图像数据作为拍摄对象的三维数据，并且将该三维数据提供给编码设备12。
在例如以下中描述了用于根据多个视点的二维图像数据和深度图像数据生成三维数据的方法的细节：Saied Moezzi,Li-Cheng Tai,Philippe Gerard,“Virtual ViewGeneration for 3D Digital Video”，圣地亚哥加利福尼亚州大学或者Takeo Kanade和Peter Ranger,P.J.Narayanan,“Virtualized Reality:Constructing Virtual Worldsfrom Real Scenes.”
编码设备12包括转换单元21、编码单元22和发送单元23。
编码设备12的转换单元21将与预定显示图像生成方法对应的多个视点的虚拟相机的内部参数和外部参数设置为相机参数。转换单元21基于相机参数根据由拍摄设备11提供的三维数据来生成与预定显示图像生成方法对应的多个视点的二维图像数据和深度图像数据。
在例如以下中等描述了用于根据三维数据生成多个视点的二维图像数据和深度图像数据的3DCG技术的细节：Masayuki TANIMOTO,“Aiming for ultimate videocommunication”，电子学会的会刊的技术报告，信息和通信工程师，CS，通信方法110(323)，第73至78页，2010年11月25日。
在本说明书中，虽然假定二维图像数据和深度图像数据的视点彼此相同，但是二维图像数据和深度图像数据的视点和视点的数量可以彼此不同。此外，二维图像数据和深度图像数据的视点和视点的数量可以与拍摄设备11的相机的视点和视点的数量相同或不同。
转换单元21从由拍摄设备11提供的三维数据中提取从与预定显示图像生成方法对应的多个视点不可见的遮挡区域中的三维数据(这样的数据在下文被称为遮挡三维数据)。转换单元21将与预定显示图像生成方法对应的多个视点的二维图像数据和深度图像数据，以及遮挡三维数据和包括相机相关信息(是与虚拟相机相关的信息)例如视点的相机参数等的元数据提供给编码单元22。
编码单元22对由转换单元21提供的二维图像数据、深度图像数据和元数据进行编码。可以采用MVCD(多视点和深度视频编码)方法、AVC方法、HEVC方法等作为编码方法。
在编码方法为MVCD方法的情况下，所有视点的二维图像数据和深度图像数据共同被编码。因此，生成包括二维图像数据和深度图像数据以及元数据的编码数据的单个编码流。在这种情况下，元数据中的相机参数被放置在编码流的参考显示信息SEI中。同时，元数据中的与深度图像数据相关的信息被放置深度表示信息SEI中。
另一方面，在编码方法为AVC方法或HEVC方法的情况下，视点的深度图像数据和二维图像数据彼此分离地被编码。因此，生成每个视点的包括视点的二维图像数据和元数据的编码数据的编码流以及每个视点的包括视点的深度图像数据和元数据的编码数据的编码流。在这种情况下，元数据被放置在例如每个编码流的用户未注册的SEI中。此外，元数据包括将编码流和相机参数等彼此相关联的信息。
应当指出，将编码流和相机参数等相关联的信息可以不包括在元数据中，但是仅与编码流对应的元数据可以包括在编码流中。
编码单元22将编码流提供给发送单元23。发送单元23将由编码单元22提供的编码流发送至解码设备13。应当指出，虽然在本说明书中陈述了元数据被放置在编码流中并且连同编码流一起被发送，但是元数据可以与编码流分离地被发送。
解码设备13包括接收单元31、解码单元32和转换单元33。
解码设备13的接收单元31接收由发送单元23发送的编码流，并且将该编码流提供给解码单元32。解码单元32根据与编码单元22的编码方法对应的方法对由接收单元31提供的编码流进行解码。解码单元32将由于解码而获得的多个视点的二维图像数据和深度图像数据以及元数据提供给转换单元33。
转换单元33基于由解码单元32提供的元数据和解码设备13的显示图像生成方法从多个视点的二维图像数据和深度图像数据中选择预定视点的二维图像数据或者预定视点的二维图像数据和深度图像数据。转换单元33基于所选择的预定视点的二维图像数据或所选择的预定视点的二维图像数据和深度图像数据来生成显示图像数据，并且将该显示图像数据提供给显示设备14。
显示设备14包括二维头戴式显示器、二维监视器、三维头戴式显示器、三维监视器等。显示设备14基于由转换单元33提供的显示图像数据来二维地显示或三维地显示显示图像。
(转换单元21的配置的示例)
图2是描绘了图1的转换单元21的配置的示例的框图。
图2的转换单元21包括拍摄对象位置确定单元51、相机确定单元52、二维数据生成单元53和遮挡确定单元54。
转换单元21的拍摄对象位置确定单元51确定与由图1的拍摄设备11提供的三维数据对应的三维对象的拍摄对象的中心的三维位置，并且将表示该三维位置的拍摄对象位置信息提供给相机确定单元52。
相机确定单元52基于由拍摄对象位置确定单元51提供的拍摄对象位置信息确定与预定显示图像生成方法对应的多个视点的相机参数，并且将相机参数提供给二维数据生成单元53和遮挡确定单元54。此外，相机确定单元52根据视点的相机参数等生成相机相关信息，并且将该相机相关信息作为元数据提供给图1的编码单元22。
二维数据生成单元53基于由相机确定单元52提供的多个视点的相机参数执行与视点中的每个视点的三维数据对应的三维对象的透视投影。
具体地，使用相机的内部参数A和外部参数R|t由以下表达式(1)表示与像素的二维位置对应的矩阵m’和与世界坐标系的三维坐标对应的矩阵M之间的关系。
[数学式1]
sm'＝A[R|t]M···(1)
表达式(1)更具体地由表达式(2)表示。
[数学式2]
Figure GDA0001650340950000101
在表达式(2)中，(u，v)表示图像上的二维坐标，以及fx和fy表示焦距。同时，Cx和Cy表示主点，r11至r13，r21至r23，r31至r33和t1至t3表示参数，以及(X，Y，Z)表示世界坐标系的三维坐标。
因此，二维数据生成单元53根据上面给出的表达式(1)和(2)使用相机参数来确定与每个像素的二维坐标对应的三维坐标。
此外，二维数据生成单元53对于每个视点将三维数据中的与像素的二维坐标对应的三维坐标的二维图像数据设置为像素的二维图像数据以生成将像素的二维坐标和图像数据相关联的二维图像数据。此外，二维数据生成单元53对于每个视点基于与像素的二维坐标对应的三维坐标确定每个像素的深度以生成将像素的二维坐标和深度相关联的深度图像数据。例如，深度是位置z在拍摄对象的深度方向上的倒数1/z。二维数据生成单元53将每个视点的二维图像数据和深度图像数据提供给编码单元22。
遮挡确定单元54基于由相机确定单元52提供的相机参数从由拍摄设备11提供的三维数据中提取遮挡三维数据，并将所提取的遮挡三维数据作为元数据提供给编码单元22。
(与预定显示图像生成方法对应的多个视点的示例)
图3是描绘了与预定显示图像生成方法对应的多个视点的示例的图。
在图3的A的示例中，预定显示图像生成方法是通过其二维地显示预定的一个视点的显示图像的预定视点显示图像生成方法和通过其二维地显示为任意一个视点的自由视点的显示图像的自由视点显示图像生成方法。在这种情况下，如图3的A中所描绘的，与预定显示图像生成方法对应的多个视点是以相等距离存在于同一圆上的多个(在图3的A的示例中，8个)视点71至78，并且视点71至78的方向是指向圆的中心的那些方向。
根据前述，解码设备13可以选择视点71至78中的一个视点的二维图像数据并将其作为显示图像数据提供给显示设备14，使得显示设备14可以二维地显示该视点的显示图像。
另一方面，解码设备13可以通过基于视点71至78的二维图像数据和深度图像数据生成三维数据并且执行与三维数据对应的三维对象到自由视点的透视投影来生成自由视点的二维图像数据作为显示图像数据。因此，解码设备13可以通过将所生成的显示图像数据提供给显示设备14来使显示设备14二维地显示自由视点的显示图像。
在图3的B的示例中，预定显示图像生成方法为预定视点显示图像生成方法、自由视点显示图像生成方法、通过其基于两个视点的二维图像数据三维地显示显示图像的三维显示图像生成方法以及通过其二维地显示两个视点之间的视点的显示图像的内插视点显示图像生成方法。
在这种情况下，如图3的B中所描绘的，与预定显示图像生成方法对应的多个视点例如是以相等距离存在于同一圆上的多个(在图3的B的示例中，十个)视点81至90。视点88和视点89分别与视点90和视点87在基本水平方向上排列(lined up)。视点87和视点89之间以及视点88和视点90之间在基本水平方向上的距离对应于例如左右人眼之间的距离。视点81至90的方向是指向布置有视点81至90的圆的中心的那些方向。
根据前述，与图3的A的情况一样，解码设备13可以使显示设备14二维地显示视点81至90中的一个视点的显示图像或者自由视点的显示图像。此外，解码设备13可以通过选择配对的视点87和视点89或者配对的视点88和视点90的二维图像数据作为显示图像数据并且将所选择的显示图像数据提供给显示设备14来使显示设备14三维地显示视点87和视点89或视点88和视点90的配对的显示图像。
此外，解码设备13可以基于配对的视点87和视点89或配对的视点88和视点90的二维图像数据和深度图像数据在这些配对的视点之间内插视点的二维图像数据。因此，解码设备13可以通过将内插的二维图像数据作为显示图像数据提供给显示设备14来使显示设备14二维地显示配对的视点87和视点89之间或配对的视点88和视点90之间的视点的显示图像。
在图3的A和图3的B的示例的情况下，预定显示图像生成方法的数量为多个。因此，解码设备13可以基于与预定显示图像生成方法对应的多个视点的二维图像数据和深度图像数据通过预定显示图像生成方法之一来生成显示图像数据。因此，可以说，编码设备12可以生成具有可扩展性的编码流。应当指出，预定显示图像生成方法的数量可以为一个。
此外，在拍摄设备11的相机的数量大于与预定显示图像生成方法对应的多个视点的情况下，相机确定单元52可以通过确定与预定显示图像生成方法对应的多个视点的相机参数来消除视点的冗余。
例如，在拍摄设备11的相机的视点为视点71至78的八个视点而与多个显示图像生成方法对应的多个视点为视点71、视点73、视点75和视点77的四个视点的情况下，相机确定单元52确定四个视点的相机参数。因此，与其中视点71至78的所有二维图像数据和所有深度图像数据都被编码的替代情况相比，可以消除编码流中的视点的冗余。
与多个显示图像生成方法对应的多个视点的位置不限于图3的A或图3的B的示例中的那些位置，而可以被设置成任意位置。此外，例如，对应于相对小的视角，可以将每个视点的相机参数作为相机参数。在这种情况下，可以提高变焦时显示图像的分辨率。
此外，在本说明书中，虽然即使在预定显示图像生成方法的数量为多个的情况下也生成与所有预定显示图像生成方法对应的多个视点的编码流，但是对于预定显示图像生成方法中的每一个，可以生成对应的多个视点的编码流。在这种情况下，解码设备13使用与其自身的显示图像生成方法对应的编码流来生成显示图像数据。
此外，相机确定单元52可以根据来自解码设备13的请求来确定与预定显示图像生成方法对应的多个视点。
(相机相关信息的示例)
图4是描绘了相机相关信息的示例的图。
在图4的示例中，与预定显示图像生成方法对应的多个视点为图3的B的视点81至90。
如图4所描绘的，相机相关信息包括每个视点的外部参数R|T、内部参数A、立体标志(isStereoFlag)和立体相机ID，它们与视点的相机ID相关联。
相机ID是对视点而言唯一的ID。在图4的示例中，相机ID相对于视点81至90从0开始的序号表示。此外，在图4中，其相机ID为i的外部参数R|T和内部参数A分别由Ri|Ti和Ai表示。
立体标志是表示在基本水平方向上是否存在排列的不同视点的标志，并且在基本水平方向上存在排列的不同视点的情况下，其被设置为1。在图4的示例中，由于不同视点分别与相机ID为6至9的视点87至90中的每一个在基本水平方向上排列，所以如图4所描绘的，与6至9的相机ID中的每个相机ID相关联的立体标志为1。
立体相机ID是在基本水平方向上排列的不同视点的相机ID，并且是指定在基本水平方向上排列的两个视点的配对信息。在图4的示例中，由于相对于其相机ID为6的视点87在基本水平方向上排列的不同视点89的相机ID为8，因此与为6的相机ID相关联的立体相机ID为8。
类似地，由于相对于其相机ID为7的视点88在基本水平方向上排列的不同视点90的相机ID为9，因此与为7的相机ID相关联的立体相机ID为9。此外，与为8的相机ID相关联的立体相机ID为6，以及与为9的相机ID相关联的立体相机ID为7。
(拍摄设备和编码设备的处理的描述)
图5是示出了图1的拍摄设备11和编码设备12的编码处理的流程图。
在图5的步骤S11处，拍摄设备11通过多相机拾取运动图像的二维图像数据，并且通过测距仪生成深度图像数据。在步骤S12处，拍摄设备11使用二维图像数据和深度图像数据生成三维数据，并且将该三维数据提供给编码设备12。
在步骤S13处，编码设备12的拍摄对象位置确定单元51(图2)确定与由拍摄设备11提供的三维数据对应的三维对象的拍摄对象的中心的三维位置，并且将表示该三维位置的拍摄对象位置信息提供给相机确定单元52。
在步骤S14处，相机确定单元52基于由拍摄对象位置确定单元51提供的拍摄对象位置信息来确定与预定显示图像生成方法对应的多个视点的相机参数，并且将相机参数提供给二维数据生成单元53和遮挡确定单元54。此外，相机确定单元52根据相机参数等生成图4的相机相关信息，并且将该相机相关信息作为元数据提供给图1的编码单元22。
在步骤S15处，二维数据生成单元53基于由相机确定单元52提供的多个视点的相机参数来执行与每个视点的三维数据对应的三维对象的透视投影以确定与每个像素的二维坐标对应的三维坐标。
在步骤S16处，二维数据生成单元53对于每个视点将三维数据中的每个像素的三维坐标的二维图像数据转换成像素的二维图像数据以生成二维图像数据。此外，二维数据生成单元53对于每个视点基于像素的三维坐标来确定每个像素的深度以生成深度图像数据。二维数据生成单元53将视点的二维图像数据和深度图像数据提供给编码单元22。
在步骤S17处，遮挡确定单元54基于由相机确定单元52提供的相机参数从由相机拾取设备11提供的三维数据中提取遮挡三维数据，并且将该遮挡三维数据作为元数据提供给编码单元22。
在步骤S18处，编码单元22对由转换单元21提供的二维图像数据、深度图像数据和元数据进行编码，并且将由于编码而获得的编码流提供给发送单元23。
在步骤S19处，发送单元23将由编码单元22提供的编码流发送至解码设备13。然后，处理结束。
(转换单元33的第一配置示例)
图6是描绘了图1的转换单元33的第一配置示例的框图。
图6的转换单元33是在图1的解码设备13的显示图像生成方法为预定视点显示图像生成方法的情况下的转换单元33，并且包括选择单元111和显示控制单元112。
转换单元33的选择单元111基于由图1的解码单元32提供的相机相关信息来识别期望的一个视点的相机ID。选择单元111从由解码单元32提供的二维图像数据、深度图像数据和遮挡三维数据中选择与所识别的相机ID对应的一个视点的二维图像数据。选择单元111将所选择的一个视点的二维图像数据提供给显示控制单元112。
显示控制单元112将由选择单元111提供的一个视点的二维图像数据作为显示图像数据提供给显示设备14，使得显示图像二维地显示在显示设备14上。
应当指出的是，虽然没有描绘，除了选择单元111基于相机相关信息选择在基本水平方向上排列的两个视点的二维图像数据之外，在解码设备13的显示图像生成方法为三维显示图像生成方法的情况下的转换单元33的配置与图6的配置相同。
具体地，在这种情况下，选择单元111选择在相机相关信息中其立体标志为1的相机ID的视点以及与该相机ID对应的立体相机ID的另一视点的二维图像数据。因此，两个所选择的视点的二维图像数据作为显示图像数据被提供给显示设备14。显示设备14基于显示图像数据中的一个视点的二维图像数据为左眼显示显示图像并且基于另一视点的二维图像数据为右眼显示显示图像，由此三维地显示显示图像。
(转换单元33的第二配置示例)
图7是描绘了图1的转换单元33的第二配置示例的框图。
图7的转换单元33是在解码设备13的显示图像生成方法为内插视点显示图像生成方法的情况下的转换单元33，并且包括选择单元131、内插单元132和显示控制单元133。
转换单元33的选择单元131基于由图1的解码单元32提供的相机相关信息来识别与为1的立体标志对应的相机ID中之一以及与该一个相机ID对应的立体相机ID。选择单元131从由解码单元32提供的二维图像数据、深度图像数据和遮挡三维图像数据中选择与两个识别的相机ID对应的两个视点的二维图像数据和深度图像数据，并且将所选择的数据提供给内插单元132。
内插单元132基于由选择单元131提供的两个视点的二维图像数据和深度图像数据来在两个视点之间的位置处内插视点的二维图像数据。这种内插技术被称为基于深度图像的渲染，并且例如在国际公开第WO2014083752号的小册子中进行了描述。内插单元132将所内插的一个视点的二维图像数据提供给显示控制单元133。
显示控制单元133将由内插单元132提供的一个视点的二维图像数据作为显示图像数据提供给显示设备14，使得显示图像二维地显示在显示设备14上。
(转换单元33的第三配置示例)
图8是描绘了图1的转换单元33的第三配置示例的框图。
图8的转换单元33是在解码设备13的显示图像生成方法为自由视点显示图像生成方法的情况下的转换单元33。图8的转换单元33包括三维数据生成单元151、拍摄对象位置确定单元152、相机位置确定单元153、二维数据生成单元154和显示控制单元155。
转换单元33的三维数据生成单元151类似于拍摄设备11使用由解码单元32提供的二维图像数据、深度图像数据和相机相关信息中包括的相机参数来生成拍摄对象的三维数据。三维数据生成单元151使用由解码单元32提供的遮挡三维数据来修改所生成的三维数据。因此，可以生成拍摄对象的包括不能仅根据二维图像数据和深度图像数据生成的遮挡区域的整个区域的三维数据。三维数据生成单元151将修改后的三维数据提供给拍摄对象位置确定单元152和二维数据生成单元154。
拍摄对象位置确定单元152确定与由三维数据生成单元151提供的三维数据对应的三维对象内的拍摄对象的中心的三维位置，并且将表示该三维位置的拍摄对象位置信息提供给相机位置确定单元153。
相机位置确定单元153基于由拍摄对象位置确定单元152提供的拍摄对象位置信息来确定自由视点的相机参数，并且将该相机参数提供给二维数据生成单元154。
二维数据生成单元154根据自由视点显示图像生成方法基于由三维数据生成单元151提供的三维数据和由相机位置确定单元153提供的自由视点的相机参数来生成二维图像数据作为显示图像数据。
具体地，二维数据生成单元154类似于图2的二维数据生成单元53基于自由视点的相机参数执行与三维数据对应的三维对象的透视投影以确定与每个像素的二维坐标对应的三维坐标。然后，二维数据生成单元154生成与三维数据中的每个像素的二维坐标对应的三维坐标的二维图像数据作为该像素的显示图像数据。
此外，二维数据生成单元154基于与像素的二维坐标对应的三维坐标来确定每个像素的深度以生成深度图像数据。二维数据生成单元154将显示图像数据和深度图像数据提供给显示控制单元155。
显示控制单元155将由二维数据生成单元154提供的显示图像数据和深度图像数据提供给显示设备14。显示设备14例如使用显示图像数据和深度图像数据作为点云二维地显示显示图像。
如上所述，图8的转换单元33根据多个视点的二维图像数据和深度图像数据生成三维数据，并且基于最近确定的自由视点的相机参数根据所生成的三维数据来生成二维图像数据和深度图像数据。因此，转换单元33可以改变变焦比或改变从编码设备12向其发送的多个视点的二维图像数据和深度图像数据的视点。
(解码设备的处理的描述)
图9是示出了在图1的转换单元33的配置为图8的配置的情况下解码设备13的解码处理的流程图。例如，当编码流从编码设备12被发送至解码设备13时，开始该解码处理。
在图9的步骤S31处，解码设备13的接收单元31接收从发送单元23发送的编码流，并且将该编码流提供给解码单元32。
在步骤S32处，解码单元32对由接收单元31提供的编码流进行解码。解码单元32将由于解码而获得的多个视点的二维图像数据和深度图像数据以及元数据提供给转换单元33。
在步骤S33处，转换单元33的三维数据生成单元151(图8)类似于拍摄设备11使用由解码单元32提供的二维图像数据和深度图像数据以及元数据中包括的相机参数来生成拍摄对象的三维数据。
在步骤S34处，三维数据生成单元151使用由解码单元32提供的包括在元数据中的遮挡三维数据来修改在步骤S33处生成的三维数据。三维数据生成单元151将修改后的三维数据提供给拍摄对象位置确定单元152。
在步骤S35处，拍摄对象位置确定单元152确定与由三维数据生成单元151提供的三维数据对应的三维对象的拍摄对象的中心的三维位置，并且将表示该三维位置的拍摄对象位置信息提供给相机位置确定单元153。
在步骤S36处，相机位置确定单元153基于由拍摄对象位置确定单元152提供的拍摄对象位置信息来确定自由视点的相机参数，并且将该相机参数提供给二维数据生成单元154。
在步骤S37处，二维数据生成单元154根据自由视点显示图像生成方法基于自由视点的三维数据和相机参数来生成二维图像数据作为显示图像数据。
在步骤S38处，二维数据生成单元154基于与像素的二维坐标对应的三维坐标来确定每个像素的深度以生成深度图像数据。二维数据生成单元154将显示图像数据和深度图像数据提供给显示控制单元155。
在步骤S39处，显示控制单元155将由二维数据生成单元154提供的显示图像数据和深度图像数据提供给显示设备14。
以这种方式，在传输系统10中，拍摄设备11根据所拾取的多个视点的二维图像数据来生成三维数据，并且编码设备12根据该三维数据生成与预定显示图像生成方法对应的多个视点的二维图像数据和深度图像数据并对其进行编码。因此，编码设备12可以对与预定显示图像生成方法对应的视点的二维图像数据和深度图像数据进行编码，使得解码设备13可以在不依赖于成像时的视点的情况下获取二维图像数据和深度图像数据。
此外，解码设备13接收从编码设备12向其发送的与预定显示图像生成方法对应的多个视点的二维图像数据和深度图像数据的编码流并且对其进行解码。因此，解码设备13可以在不依赖于成像时的视点的情况下获取与预定显示图像生成方法对应的视点的二维图像数据和深度图像数据。
此外，在预定显示图像生成方法的数量为多个的情况下，可以通过多个显示图像生成方法的解码设备来再现由编码设备12生成的编码流。例如，其显示图像生成方法为预定视点显示图像生成方法的低功能的解码设备和其显示图像生成方法为自由视点图像生成方法的高功能的另一解码设备两者均可以根据自己的设备的能力执行编码流的再现。
<第二实施方式>
(传输系统的第二实施方式的配置的示例)
图10是描绘了本公开内容所应用于的传输系统的第二实施方式的配置的示例的框图。
在图10所描绘的部件中，与图1中的部件相同的部件用相同的附图标记表示。适当地省略了重叠的描述。
图10的传输系统170的配置与图1的传输系统10的配置的不同之处在于拍摄设备11、编码设备12和解码设备13由拍摄设备171、编码设备172和解码设备173替换。在传输系统170中，由拍摄设备171获取的二维图像数据和深度图像数据按原样被编码并被发送。
具体地，传输系统170的拍摄设备171包括多相机181和图像处理单元182。配置拍摄设备171的多相机181的多个相机分别拾取二维图像数据。多相机181将由这些相机拾取的二维图像数据提供给图像处理单元182。
图像处理单元182将配置多相机181的多个相机中的一个相机设置为基准相机，并将其他相机设置为参考相机。图像处理单元182基于由多相机181的基准相机拾取的二维图像数据和由参考相机拾取的二维图像数据来检测每个参考相机的二维图像数据相对于基准相机的同步偏差。此外，图像处理单元182将基准相机的同步偏差检测为0。图像处理单元182将相机相关信息和包括表示所检测到的相机的视点的同步偏差的信息的同步偏差信息提供给编码设备172。
此外，图像处理单元182对由相机拾取的二维图像数据执行立体匹配以生成相机的深度图像数据，并且将该深度图像数据提供给编码设备172。
编码设备172将由拍摄设备171提供的同步偏差信息和相机相关信息确定为元数据。编码设备172类似于图1的编码单元22对元数据以及由拍摄设备171提供的相机的二维图像数据和深度图像数据进行编码以生成编码流。编码设备172(发送单元)将所生成的编码流发送至解码设备173。
解码设备173的配置与图1的解码设备13的配置的不同之处在于解码单元32和转换单元33分别由解码单元191和转换单元192替换。
解码设备173的解码单元191根据与编码设备172的编码方法对应的方法对由接收单元31提供的编码流进行解码。解码单元191基于由于解码而获得的元数据中的同步偏差信息将基准相机和参考相机的二维图像数据和深度图像数据彼此同步，并且将同步后的数据提供给转换单元192。此外，解码单元191将元数据中的相机相关信息提供给转换单元192。
除了未使用遮挡三维数据校正三维数据之外，转换单元192的配置与图1的转换单元33的配置相同，因此省略了相同部分的描述。
(拍摄设备的配置的示例)
图11是描绘了图10的拍摄设备171的配置的示例的框图。
图11的拍摄设备171的多相机181包括N(N为多个)个相机211-1至211-N。
相机211-1至211-N被布置成使得例如相机211-1至211-N的视点变成与预定显示图像生成方法对应的视点。相机211-1至211-N单独地执行图像拾取并且将由于图像拾取而获得的运动图像的二维图像数据(所拾取的图像数据)提供给图像处理单元182。在下面的描述中，在不需要特别区分相机211-1至211-N的情况下，它们被统称为相机211。
图像处理单元182包括校准单元221、同步偏差检测单元222和深度生成单元223。
图像处理单元182的校准单元221对于每个相机211使用相机参数执行对由多相机181提供的二维图像数据的校准。校准单元221将校准之后的每个相机211的二维图像数据提供给同步偏差检测单元222。此外，校准单元221将相机相关信息提供给图10的编码设备172。
同步偏差检测单元222将相机211-1至211-N中的一个相机确定为基准相机，并将相机211-1至211-N中的其余相机确定为参考相机。同步偏差检测单元222基于由校准单元221提供的基准相机的二维图像数据和参考相机的二维图像数据以毫秒数量级来检测每个参考相机的二维图像数据相对于基准相机的同步偏差。
具体地，同步偏差检测单元222从基准相机的二维图像数据和参考相机的二维图像数据中检测闪光(flashlight)。同步偏差检测单元222检测从其检测到闪光开始基准相机的二维图像数据和每个参考相机的二维图像数据之间的图像拾取时间的差异作为参考相机的二维图像数据的同步偏差。
可以通过与通过其检测到闪光的方法不同的方法使用二维图像数据来执行每个参考相机的二维图像数据的同步偏差。此外，在相机211连同二维图像数据一起获取音频数据的情况下，通过检测参考相机的音频数据相对于基准相机的同步偏差，可以检测到参考相机的二维图像数据的同步偏差。
同步偏差检测单元222将基准相机的二维图像数据的同步偏差检测为0。同步偏差检测单元222将所检测到的同步偏差的同步偏差信息提供给编码设备172。此外，同步偏差检测单元222将由校准单元221提供的每个相机211的二维图像数据提供给深度生成单元223。
深度生成单元223对由同步偏差检测单元222提供的每个相机211的二维图像数据执行立体匹配以生成相机211的深度图像数据。深度生成单元223将相机211的二维图像数据和深度图像数据提供给编码设备172。
(同步偏差信息的示例)
图12是描绘了同步偏差信息的示例的图。
在图12的示例中，相机211的视点为图3的B的视点81至90。
如图12所描绘的，通过将每个相机211的num_units_in_tick、time_scale、Delta_num_units_in_tick和Delta_time_scale与相机211的视点的相机ID相关联来配置同步偏差信息。
num_units_in_tick是指示帧距离所对应于的time_unit的数量的信息，time_unit由time_scale定义。time_scale是一秒内time_unit的数量。因此，帧速率可以由num_units_in_tick和time_scale表示。
在图12的示例中，其相机ID为0、1、4和5的相机211的帧速率为60Hz(59.94Hz)。因此，例如，在其相机ID为0、1、4和5的相机211中，num_units_in_tick为1001并且time_scale为60000。同时，其相机ID为2、3和6至9的相机211的帧速率是30Hz(29.97Hz)。因此，例如，在其相机ID为2、3和6至9的相机211中，num_units_in_tick为2002并且time_scale为60000。
Delta_num_units_in_tick是指示同步偏差所对应于的time_unit的数量的信息，time_unit由Delta_time_scale定义。Delta_time_scale是一秒钟内time_unit的数量。因此，同步偏差可以由Delta_num_units_in_tick和Delta_time_scale表示。
在图12的示例中，其相机ID为0的相机211为基准相机。因此，与相机ID为0对应的Delta_num_units_in_tick为0。此外，在图12的示例中，其相机ID为3、4、7和9的相机211的同步偏差为0。因此，与相机ID为3、4、7和9对应的Delta_num_units_in_tick也为0。
此外，在图12的示例中，其相机ID为1和5的相机211的同步偏差为1/30(1/29.97)秒。因此，例如，与相机ID为1和5对应的Delta_num_units_in_tick为2002并且Delta_time_scale为60000。另外，其相机ID为2、6和8的相机211的同步偏差为1/15(1/14.985)秒。因此，例如，与相机ID为2、6和8对应的Delta_num_units_in_tick为4004并且Delta_time_scale为60000。
应当指出的是，同步偏差信息可以包括指示出现同步偏差的所有相机211的同步偏差是否相等的同步偏差公共标志。
在这种情况下，当出现同步偏差的所有相机211的同步偏差相等时，同步偏差信息包括指示出现同步偏差的所有相机211的同步偏差相等的同步偏差公共标志、指示每个相机211中存在/不存在同步偏差的同步偏差标志(同步偏差存在/不存在信息)以及表示对于出现同步偏差的所有相机211共同的同步偏差的信息。
另一方面，当出现同步偏差的所有相机211的同步偏差不相等时，同步偏差信息包括图12的同步偏差信息以及指示出现同步偏差的所有相机211的同步偏差不相等的同步偏差公共标志。
(编码设备的配置的示例)
图13是描绘了图10的编码设备172的配置的示例的框图。
图13的编码设备172是在通过AVC方法或HEVC方法执行编码的情况下的编码设备172，并且包括2N个编码单元241-1至241-2N以及发送单元242。
编码设备172的编码单元241-1至241-2N根据AVC方法或HEVC方法单独地对由拍摄设备171提供的相机211的二维图像数据或深度图像数据进行编码以单独地生成编码流。
编码单元241-1至241-2N将由拍摄设备171提供的相机相关信息和同步偏差信息以及将相机相关信息和同步偏差信息与编码流相关联的信息设置为元数据。编码单元241-1到241-2N将元数据放置到所生成的编码流的用户未注册的SEI中。
应当指出的是，编码单元241-1至241-2N可以仅将与编码流对应的元数据放置到编码流的用户未注册的SEI中。在这种情况下，将相机相关信息和同步偏差信息与编码流相关联的信息不包括在元数据中。编码单元241-1至241-2N将其中放置了元数据的编码流提供给发送单元242。
发送单元242将由编码单元241-1至241-2N提供的编码流发送至图10的解码设备173。
(拍摄设备和编码设备的处理的描述)
图14是示出了图10的拍摄设备171和编码设备172的编码处理的流程图。
在图14的步骤S51处，拍摄设备171的相机211(图11)执行图像拾取并且将由于图像拾取而获得的运动图像的二维图像数据提供给图像处理单元182。
在步骤S52处，图像处理单元182的校准单元221对于每个相机211使用相机参数执行对由多相机181提供的二维图像数据的校准。校准单元221将校准之后的每个相机211的二维图像数据提供给同步偏差检测单元222。
在步骤S53处，校准单元221将相机相关信息作为元数据提供给编码设备172。
在步骤S54处，同步偏差检测单元222对于每个参考相机基于由校准单元221提供的基准相机和参考相机的二维图像数据来检测参考相机的二维图像数据相对于基准相机的同步偏差。此外，同步偏差检测单元222将基准相机的二维图像数据的同步偏差检测为0。
在步骤S55处，同步偏差检测单元222将所检测到的同步偏差的同步偏差信息作为元数据提供给编码设备172。此外，同步偏差检测单元222将由校准单元221提供的相机211的二维图像数据221提供给深度生成单元223。
在步骤S56处，深度生成单元223对由同步偏差检测单元222提供的各个相机211的二维图像数据执行立体匹配以生成每个相机211的深度图像数据。
在步骤S57处，深度生成单元223将相机211的二维图像数据和深度图像数据提供给编码设备172。
在步骤S58处，编码设备172对元数据以及由拍摄设备171向其提供的相机211的二维图像数据和深度图像数据进行编码以生成编码流。
在步骤S59处，编码设备172将所生成的编码流发送至解码设备173。然后，处理结束。
(解码单元的配置的示例)
图15是描绘了图10的解码单元191的配置的示例的框图。
在图15的示例中，编码设备172的配置为图13的配置，并且从编码设备172发送的编码流的编码方法为AVC方法或HEVC方法。图15的解码单元191包括2N个解码处理单元261-1至261-2N以及输出单元262。
解码单元191的解码处理单元261-1至261-2N根据与AVC方法或HEVC方法对应的方法单独地对由接收单元31提供的相机211的二维图像数据和深度图像数据的编码流进行解码。解码处理单元261-1至261-2N将由于解码而获得的相机211的二维图像数据或深度图像数据以及配置元数据的相机相关信息和同步偏差信息提供给输出单元262。
输出单元262(同步处理单元)对于每个参考相机基于由解码处理单元261-1至261-2N提供的同步偏差信息将彼此为同步关系的基准相机和参考相机的二维图像数据和深度图像数据提供给图10的转换单元192。
例如，在同步偏差信息中包括的参考相机的num_units_in_tick为1001并且Delta_num_units_in_tick为2002、并且除了time_scale和Delta_time_scale为60000之外的情况下，输出单元262通过延迟两帧将参考相机的二维图像数据和深度图像数据提供给转换单元192。此外，输出单元262将由解码处理单元261-1到261-2N提供的相机相关信息提供给转换单元192。
通过前述，由于要提供给转换单元192的相机211的二维图像数据和深度图像数据彼此同步，因此提高了由转换单元192生成三维数据的准确度。
(解码设备的处理的描述)
图16是示出了在除了未使用遮挡三维数据校正三维数据之外图10的转换单元192的配置与图8的配置相同的情况下解码设备173的解码处理的流程图。例如，当编码流从编码设备172被发送至解码设备173时，开始该解码处理。
在图16的步骤S71处，解码设备173的接收单元31接收从编码设备172发送的编码流，并且将该编码流提供给解码单元191。
在步骤S72处，解码单元191通过与编码设备172的编码方法对应的方法对由接收单元31提供的编码流进行解码。
在步骤S73处，解码单元191对于每个参考相机基于由于解码而获得的元数据中的同步偏差信息将为同步关系的基准相机和参考相机的二维图像数据和深度图像数据提供给转换单元192。此外，输出单元262将元数据中的相机相关信息提供给转换单元192。
在步骤S74处，转换单元192使用相机相关信息中包括的相机参数以及由解码单元191提供的二维图像数据和深度图像数据类似于拍摄设备11来生成拍摄对象的三维数据。
步骤S75至S79处的处理分别类似于图9的步骤S35至S39处的处理。因此，省略了它们的描述。
如上所述，在传输系统170中，由于由相机211获取的二维图像数据和深度图像数据按原样被编码并被发送，所以在某些情况下可能不能获得相机211的二维图像数据和深度图像数据的同步。
然而，在传输系统170中，拍摄设备171检测相机的二维图像数据的同步偏差，并且编码设备172连同二维图像数据和深度图像数据一起发送所检测到的同步偏差的同步偏差信息。因此，解码设备173可以基于同步偏差信息使相机211的二维图像数据和深度图像数据彼此同步。因此，解码设备173可以使用彼此同步的N个相机211的二维图像数据和深度图像数据来高准确度地生成三维数据。
<第三实施方式>
(传输系统的第三实施方式的配置的示例)
图17是描绘了本公开内容所应用于的传输系统的第三实施方式的配置的示例的框图。
在图17所描绘的部件中，与图1的部件相同的部件用相同的附图标记表示。适当地省略了重叠的描述。
图17的传输系统280的配置与图1的传输系统10的配置的不同之处在于：新设置了拍摄设备281、编码设备282和合成设备283，解码设备13由解码设备284替换，以及由编码设备12生成的二维图像数据和深度图像数据的视点为与预定显示图像生成方法对应的多个视点的一部分。
在传输系统280中，与预定显示图像生成方法对应的多个视点中的一些视点(在下文被称为第一视点组)的编码流由编码设备12生成，而其他视点(在下文被称为第二视点组)的编码流由编码设备282生成，并且这两个编码流被合成(合并)。
具体地，传输系统280的拍摄设备281类似于图1的拍摄设备11被配置，并且拍摄设备281的至少一部分拾取与拍摄设备11的拍摄对象相同的拍摄对象的图像，并且将该拍摄对象的三维数据提供给编码设备282。
编码设备282包括类似于转换单元21配置的转换单元291、类似于编码单元22配置的编码单元292以及类似于发送单元23配置的发送单元293。编码设备282根据三维数据生成第二视点组的二维图像数据和深度图像数据，以及对所生成的数据进行编码并将其发送至合成设备283。
合成设备283接收从编码设备12向其发送的第一视点组的编码流(在下文被称为第一部分编码流)和从编码设备282发送的第二视点组的编码流(在下文被称为第二部分编码流)。合成设备283检测第二部分编码流相对于第一部分编码流的同步偏差，并且生成表示第二部分编码流的同步偏差的视点组同步偏差信息。
视点组同步偏差信息包括例如表示第二视点组的帧速率的num_units_in_tick和time_scale以及表示同步偏差的Delta_um_units_in_tick和Delta_time_scale。
合成设备283将视点组同步偏差信息放置到第二部分编码流的元数据中。合成设备283对第一部分编码流和其中放置了视点组同步偏差信息的第二部分编码流进行合成以生成与预定显示图像生成方法对应的多个视点的编码流，并且将该编码流发送至解码设备284。
解码设备284的配置与图1的解码设备13的配置的不同之处在于解码单元32由解码单元301替换。除了同步偏差信息由视点组同步偏差信息替换以及元数据中的遮挡三维数据连同相机相关信息一起被提供给转换单元33之外，解码设备284的解码单元301类似于图10的解码单元191，因此省略了对解码单元301的描述。
(合成设备的配置的示例)
图18是描绘了图17的合成设备283的配置的示例的框图。
图18的合成设备283包括解码单元321、另一解码单元322、同步偏差检测单元323和元数据添加单元324。
合成设备283的解码单元321接收从编码设备12发送的第一部分编码流。解码单元321根据与编码单元22的编码方法(在图18的示例中，MVCD)对应的方法对所接收到的第一部分编码流进行解码以生成元数据以及第一视点组的二维图像数据和深度图像数据。解码单元321将所生成的第一视点组内的一个视点的二维图像数据提供给同步偏差检测单元323。
解码单元322接收从编码设备282向其发送的第二部分编码流。解码单元322根据与编码单元292的编码方法(在图18的示例中，MVCD)对应的方法对所接收到的第二部分编码流进行解码以生成元数据以及第二视点组的二维图像数据和深度图像数据。解码单元322将所生成的第二视点组内的一个视点的二维图像数据提供给同步偏差检测单元323。
同步偏差检测单元323基于由解码单元321和解码单元322提供的二维图像数据来检测第二视点组的二维图像数据相对于第一视点组的同步偏差。
同步偏差的检测方法可以与第二实施方式中的同步偏差的检测方法相同或不同。
此外，为了检测同步偏差，不仅可以使用二维图像数据，而且还可以使用相机参数和深度图像数据。在这种情况下，例如，同步偏差检测单元323基于相机相关信息中包括的相机参数将第一视点组内的一个视点和第二视点组内的一个视点的每个时间点处的二维图像数据的特征点的二维位置转换成三维位置。同步偏差检测单元323检测当两个视点的特征点的三维位置之间的差异最小时二维图像数据的时间点之间的差异作为第二视点组的二维图像数据相对于第一视点组的同步偏差。
同步偏差检测单元323将表示所检测到的同步偏差的视点组同步偏差信息提供给元数据添加单元324。
元数据添加单元324将由同步偏差检测单元323提供的视点组同步偏差信息作为元数据放置到从编码设备282向其发送的第二部分编码流中。元数据添加单元324对其中视点组同步偏差信息被替换为元数据的第二部分编码流和从编码设备12发送的第一部分编码流进行合成。元数据添加单元324(发送单元)将由于合成而获得的与预定显示图像生成方法对应的多个视点的编码流发送至解码设备284。
(合成设备的处理的描述)
由于图17的拍摄设备11和编码设备12以及拍摄设备281和编码设备282的编码处理类似于图5的编码处理，因此省略了其描述。
图19是示出了图18的合成设备283的合成处理的流程图。
在图19的步骤S91处，合成设备283的解码单元321根据与编码单元22的编码方法对应的方法对从编码设备12发送的第一部分编码流进行解码。解码单元321将由于解码而获得的第一视点组内的一个视点的二维图像数据提供给同步偏差检测单元323。
在步骤S92处，解码单元322根据与编码单元292的编码方法对应的方法对从编码设备282发送的第二部分编码流进行解码。解码单元322将由于解码而获得的第二视点组内的一个视点的二维图像数据提供给同步偏差检测单元323。
在步骤S93处，同步偏差检测单元323基于由解码单元321和解码单元322提供的二维图像数据来检测第二视点组的二维图像数据相对于第一视点组的同步偏差。同步偏差检测单元323将表示所检测到的同步偏差的视点组同步偏差信息提供给元数据添加单元324。
在步骤S94处，元数据添加单元324将由同步偏差检测单元323提供的视点组同步偏差信息作为元数据放置到从编码设备282发送的第二部分编码流中。
在步骤S95处，元数据添加单元324对从编码设备12发送的第一部分编码流和包括视点组同步偏差信息的第二部分编码流进行合成。元数据添加单元324将由于合成而获得的与预定显示图像生成方法对应的多个视点的编码流提供给解码设备284，然后处理结束。
除了同步偏差信息由视点组同步偏差信息替换以及还通过步骤S72处的处理生成遮挡三维数据，并且在步骤S74处的处理之后，类似于图9的步骤S34处使用遮挡三维数据修改三维数据之外，解码设备284的解码处理类似于图16的解码处理。
如上所述，在传输系统280中，由编码设备12生成的第一部分编码流和由编码设备282生成的第二部分编码流被合成并被发送至解码设备284。因此，在某些情况下可能不能获得由于合成而获得的与预定显示图像生成方法对应的第一视点组和第二视点组的编码流之间的同步。
然而，在传输系统280中，合成设备283对第一部分编码流和第二部分编码流进行一次解码，并且检测由于解码而获得的第一视点组和第二视点组的二维图像数据之间的同步偏差。然后，合成设备283连同第一部分编码流和第二部分编码流一起发送表示所检测到的同步偏差的视点组同步偏差信息。因此，解码设备284可以基于视点组同步偏差信息将第一视点组和第二视点组的二维图像数据和深度图像数据彼此合成。因此，解码设备284可以使用彼此处于同步状态的第一视点组和第二视点组的二维图像数据和深度图像数据高准确度地生成三维数据。
<第四实施方式>
(传输系统的第四实施方式中的合成设备的配置的示例)
除了合成设备283由合成设备340替换，解码设备284的转换单元33由转换单元380替换以及视点组同步偏差信息由坐标转换信息替换之外，本公开内容所应用于的传输系统的第四实施方式的配置与图17的传输系统280的配置相同。因此，在下面，仅描述合成设备340和转换单元380。
图20是描绘了合成设备340的配置的示例的框图。
在图20所描绘的部件中，与图18的部件相同的部件由相同的附图标记表示。适当地省略了重叠的描述。
图20的合成设备340的配置与图18的合成设备283的配置的不同之处在于同步偏差检测单元323和元数据添加单元324分别由坐标变换数据生成单元341和元数据添加单元342替换。合成设备340不检测不同视点的二维图像数据的同步偏差，而是生成用于将第一三维坐标系(第一视点组的三维坐标系)变换成第二三维坐标系(第二视点组的三维坐标系)的坐标变换数据。
具体地，合成设备340的坐标变换数据生成单元341基于通过解码单元322的解码而生成的第一视点组的二维图像数据来确定第一视点组的每个视点的特征点的二维位置。
此外，坐标变换数据生成单元341基于通过解码单元321的解码而生成的第二视点组的相机相关信息中包括的相机参数、二维图像数据和深度图像数据根据上文给出的表达式(1)来确定特征点在第二三维坐标系中的三维位置。
坐标变换数据生成单元341对于第一视点组的每个视点基于特征点的第二三维坐标系中的二维位置和三维位置来生成坐标变换数据。坐标变换数据生成单元341将包括第一视点组的视点的坐标变换数据的坐标变换信息提供给元数据添加单元342。
元数据添加单元342将由坐标变换数据生成单元341提供的坐标变换信息作为元数据放置到从编码设备12向其发送的第一部分编码流中。此外，元数据添加单元342对坐标变换信息作为元数据被放置在其中的第一部分编码流和从编码设备282向其发送的第二部分编码流进行合成。元数据添加单元342(发送单元)将由于合成而获得的与预定显示图像生成方法对应的多个视点的编码流发送至解码设备284。
(坐标变换数据的生成处理的描述)
图21是示出了由图20的坐标变换数据生成单元341生成坐标变换数据的处理的图。
在图21的示例中，第一三维坐标系是包括彼此垂直相交的轴xA至zA作为坐标轴的坐标系，以及第二三维坐标系是包括彼此垂直相交的轴xB至zB作为坐标轴且与第一三维坐标系不同的坐标系。
在第一三维坐标系中的三维位置为P1的特征点的由第一视点组中的一个视点的虚拟相机361拾取的图像上的二维位置PA由以下表达式(3)表示。
[数学式3]
Figure GDA0001650340950000291
RcamA|tcamA是第一部分编码流的元数据内的虚拟相机361在第一三维坐标系中的相机参数。
同时，在第一三维坐标系中的三维位置为P1并且在第二三维坐标系中的三维位置为P1’的特征点的由虚拟相机361拾取的图像上的二维位置PB由下面的表达式(4)表示。
[数学式4]
Figure GDA0001650340950000292
RcamB|tcamB是虚拟相机361在第二三维坐标系中的相机参数。
通过变换表达式(4)，三维位置P1’由下面的表达式(5)表示。
[数学式5]
Figure GDA0001650340950000293
由于二维位置PA和二维位置PB相同，所以通过将表达式(3)的右侧代入上面给出的表达式(5)的二维位置PB，获得下面的表达式(6)。
[数学式6]
Figure GDA0001650340950000301
表达式(6)是用于将第一三维坐标系中的三维位置P1变换成第二三维坐标系中的三维位置P1’的表达式。因此，坐标变换数据生成单元341将由与表达式(6)中的相机的外部参数相同的表示方法表示的Rcon|tcon确定为坐标变换数据。
具体地，坐标变换数据生成单元341根据上文给出的表达式(1)基于第二视点组的相机参数、二维图像数据和深度图像数据来确定特征点在第二三维坐标系中的三维位置。此外，坐标变换数据生成单元341基于第一视点组的二维图像数据来确定第一视点组的每个视点的特征点的二维位置。
然后，坐标变换数据生成单元341对于第一视点组的每个视点将特征点在第二三维坐标系中的三维位置代入到P1’，并且根据其中二维位置被代入PA中的表达式(4)确定虚拟相机361在第二三维坐标系中的外部参数RcamB|tcamB。
上述处理被称为在线校准。例如，在以下等中描述了在线校准的细节：张正友(Zhengyou Zhang),“AFlexible New Technique for Camera Calibration”，技术报告MSR-TR-98-71，微软公司，1998年12月2日。
坐标变换数据生成单元341对于第一视点组的每个视点根据上文给出的表达式(6)使用外部参数RcamB|tcamB来确定坐标变换数据。
(坐标变换信息的示例)
图22是描绘了坐标变换信息的示例的图。
在图22的示例中，第一视点组的视点的相机ID为0至3。
如图22所描绘的，通过将第一视点组的每个视点的相机ID与视点的校正标志(isCorrectionFlag)和坐标变换数据相关联来配置坐标变换信息。
校正标志是表示第一三维坐标系(对应视点的三维坐标系)是否与变成基准的第二三维坐标系不同的标志。在指示第一三维坐标系(对应视点的三维坐标系)与变成基准的第二三维坐标系不同的情况下，校正标志为1，但是在指示第一三维坐标系并非不同的情况下，校正标志为0。
在第四实施方式中，由于第一三维坐标系和第二三维坐标系彼此不同，因此所有的校正标志都为1。另外，在图22中，其相机ID为i的视点的坐标变换数据被表示为R|t(i)。
应当指出的是，坐标变换信息可以包括指示第一视点组的所有视点的坐标变换数据是否相同的坐标变换公共标志。在这种情况下，当第一视点组的所有视点的坐标变换数据相同时，坐标变换信息包括指示第一视点组的所有视点的坐标变换数据相同的坐标变换公共标志(坐标变换公共信息)以及对于第一视点组的所有视点共同的坐标变换数据。例如，在第一视点组的所有视点的坐标变换数据相同的情况下，坐标变换公共标志为1，而在它们不同的情况下，坐标变换公共标志为0。
(合成设备的处理的描述)
图23是示出了图20的合成设备340的合成处理的流程图。
图23的步骤S111和S112处的处理分别类似于图19的步骤S91和S92处的处理，因此省略了其描述。
在步骤S113处，合成设备340的坐标变换数据生成单元341基于第二视点组的相机参数、二维图像数据和深度图像数据以及第一视点组的二维图像数据来生成第一视点组的每个视点的坐标变换数据。坐标变换数据生成单元341将包括第一视点组的视点的坐标变换数据的坐标变换信息提供给元数据添加单元342。
在步骤S114处，元数据添加单元342将由坐标变换数据生成单元341提供的坐标变换信息作为元数据放置到从编码设备12发送的第一部分编码流中。
在步骤S115处，元数据添加单元342对包括坐标变换信息的第一部分编码流和从编码设备282发送的第二部分编码流进行合成。元数据添加单元342将由于合成而获得的与预定显示图像生成方法对应的多个视点的编码流发送至解码设备284。然后，处理结束。
(转换单元的配置的示例)
图24是描绘了在解码设备284的显示图像生成方法为自由视点显示图像生成方法的情况下转换单元380的配置的示例的框图。
在图24所描绘的部件中，与图8的部件相同的部件由相同的附图标记表示。适当地省略了重叠的描述。
图24的转换单元380的配置与图8的转换单元33的配置的不同之处在于三维数据生成单元151由三维数据生成单元381替换。
三维数据生成单元381包括三维位置转换单元391、三维位置转换单元392、坐标转换单元393和数据生成单元394。
三维数据生成单元381的三维位置转换单元391(第一三维位置转换单元)根据上文给出的表达式(1)基于由解码单元301提供的第一视点组的元数据内的相机参数、二维图像数据和深度图像数据将第一视点的二维图像数据的每个像素的二维位置转换成第一三维坐标系中的三维位置。三维位置转换单元391将第一视点组的二维图像数据的每个像素在第一三维坐标系中的三维位置和第一视点组的二维图像数据提供给坐标变换单元393。
三维位置转换单元392(第二三维位置转换单元)根据上文给出的表达式(1)基于由解码单元301提供的第二视点组的元数据内的相机参数、二维图像数据和深度图像数据将第二视点组的二维图像数据的每个像素的二维位置转换成第二三维坐标系中的三维位置。三维位置转换单元392将第二视点组的二维图像数据的每个像素在第二三维坐标系中的三维位置和第二视点组的二维图像数据提供给数据生成单元394。
坐标变换单元393基于由解码单元301提供的元数据内的坐标变换信息将由三维位置转换单元391提供的第一视点组的二维图像数据的每个像素在第一三维坐标系中的三维位置变换成第二三维坐标系中的三维位置。坐标变换单元393将第一视点组的二维图像数据的每个像素在第二三维坐标系中的三维位置和第一视点组的二维图像数据提供给数据生成单元394。
数据生成单元394基于第一视点组和第二视点组的二维图像数据的每个像素在第二三维坐标系中的三维位置来生成根据第一视点组和第二视点组的二维图像数据的拍摄对象的三维数据。
数据生成单元394使用由解码单元301提供的元数据内的遮挡三维数据修改所生成的三维数据，并将修改后的三维数据提供给拍摄对象位置确定单元152和二维数据生成单元154。
(解码设备的处理的描述)
图25是示出了第四实施方式中的解码设备284的解码处理的流程图。例如，当编码流从合成设备340被发送至解码设备284时，开始该解码处理。
在图25的步骤S131处，解码设备284的接收单元31接收从合成设备283发送的编码流。
在步骤S132处，解码单元301根据与编码单元22和编码单元292的编码方法对应的方法对所接收到的编码流进行解码。解码单元301将由于解码而获得的第一视点组和第二视点组的二维图像数据、深度图像数据和元数据提供给转换单元380(图24)。
在步骤S133处，转换单元380的三维位置转换单元391基于第一视点组的元数据内的相机参数、二维图像数据和深度图像数据来确定第一视点组的二维图像数据的每个像素在第一三维坐标系中的三维位置。三维位置转换单元391将第一视点组的二维图像数据的每个像素在第一三维坐标系中的三维位置和二维图像数据提供给坐标变换单元393。
在步骤S134处，三维位置转换单元392基于第二视点组的元数据内的相机参数、二维图像数据和深度图像数据来确定第二视点组的二维图像数据的每个像素在第二三维坐标系中的三维位置。三维位置转换单元392将第二视点组的二维图像数据的每个像素在第二三维坐标系中的三维位置和二维图像数据提供给数据生成单元394。
在步骤S135处，坐标变换单元393基于由解码单元301提供的元数据内的坐标变换信息将由三维位置变换单元391提供的第一三维坐标系中的三维位置转换成第二三维坐标系中的三维位置。坐标变换单元393将第一视点组的二维图像数据的每个像素在第二三维坐标系中的三维位置和二维图像数据提供给数据生成单元394。
在步骤S136处，数据生成单元394基于第一视点组和第二视点组的二维图像数据的每个像素在第二三维坐标系中的三维位置来生成根据第一视点组和第二视点组的二维图像数据的拍摄对象的三维数据。
步骤S137至S142处的处理分别类似于图9的步骤S34至S39处的处理，因此，省略了其描述。
应当注意的是，合成设备283可以不将坐标变换信息放置到第一部分编码流中，而是可以用第二三维坐标系中的每个视点的外部参数RcamB|tcamB替换要放置成第一部分编码流中的第一三维坐标系中的第一视点组的每个视点的外部参数RcamA|tcamA。在这种情况下，在三维数据生成单元381中未设置坐标变换单元393，但是三维位置转换单元391使用外部参数RcamB|tcamB替换外部参数RcamA|tcamA来直接确定第二三维坐标系中的三维位置。
在第一视点组的所有视点的坐标变换数据彼此不同的情况下，用外部参数RcamB|tcamB替换外部参数RcamA|tcamA是优选的。在坐标变换信息被放置到第一部分编码流中的情况下，由于不需要修改原始的第一部分编码流，所以与其中外部参数被替换的替代情况相比，处理更容易。
此外，如果视点的二维图像数据的尺度(视点与图像拾取平面之间沿深度方向的距离)相同，则第一视点组的视点的坐标变换数据相同。因此，在这种情况下，坐标变换数据生成单元341可以仅生成第一视点组的一个视点的坐标变换数据作为对于第一视点组的视点共同的坐标变换数据。
如上所述，在第四实施方式中，由编码设备12生成的第一部分编码流和由编码设备282生成的第二部分编码流被合成并被发送至解码设备284。因此，由于合成而获得的与预定显示图像生成方法对应的多个视点的编码流的三维坐标系可能不相同。
然而，在第四实施方式中，合成设备340对第一部分编码流和第二部分编码流进行一次解码，并基于解码的结果来生成坐标变换数据。然后，合成设备340连同第一部分编码流和第二部分编码流一起发送包括所生成的坐标变换数据的坐标变换信息。因此，转换单元380可以基于坐标转换信息将第一视点组的二维图像数据的每个像素在第一三维坐标系中的三维位置转换成第二三维坐标系中的三维位置。因此，转换单元380可以基于第一视点组和第二视点组的二维图像数据的每个像素在相同的第一三维坐标系中的三维位置根据二维图像数据来高准确度地生成三维数据。
在第二实施方式至第四实施方式中，在与二维图像数据和深度图像数据的预定显示图像生成方法对应的视点彼此不同的情况下，基于二维图像数据和深度图像数据执行对各个视点的同步偏差的检测或者坐标变换数据的生成。
<第五实施方式>
(传输系统的第五实施方式中的合成设备的配置的示例)
除了合成设备283由合成设备400替换以及解码设备284的转换单元33由转换单元420替换并且视点组同步偏差信息由色偏校正信息替换之外，本公开内容所应用于的传输系统的第五实施方式的配置与图17的传输系统280的配置相同。因此，在下文中，仅描述合成设备400和转换单元420。
图26是描绘了合成设备400的配置的示例的框图。
在图26所描绘的部件中，与图18的部件相同的部件由相同的附图标记表示。适当地省略了重叠的描述。
图26的合成设备400的配置与图18的合成设备283的配置的不同之处在于同步偏差检测单元323和元数据添加单元324分别由色偏校正数据生成单元401和元数据添加单元402替换。合成设备400不检测每个视点的二维图像数据的同步偏差，而是生成用于校正每个视点的二维图像数据的色偏的色偏校正数据。
具体地，合成设备400的色偏校正数据生成单元401将第一视点组和第二视点组的视点中的一个视点确定为基准视点，并将其他视点确定为参考视点。色偏校正数据生成单元401对于每个参考视点基于通过解码单元321或解码单元322的解码而生成的基准视点和参考视点的二维图像数据来生成用于校正参考视点的二维图像数据相对于基准视点的色偏的色偏校正数据。
具体地，当对参考视点的二维图像数据内的特征点的RGB值(R，G，B)执行逆伽马校正时所获得的RGB值(R’，G’，B’)由下面的表达式(7)表示。
[数学式7]
Figure GDA0001650340950000351
γR、γG和γB分别为R、G和B的伽马值。
同时，用于将RGB值(R’，G’，B’)转换成当对参考视点的RGB值为基准视点的二维图像数据内的(R，G，B)的特征点的RGB值(Rc，Gc，Bc)执行逆伽马校正时所获得的RGB值(R”，G”，B”)的表达式由下面的表达式(8)表示。
[数学式8]
Figure GDA0001650340950000352
a11至a13、a21至a23以及a31至a33为系数。
此外，由于RGB值(Rc，Gc，Bc)为当对RGB值(R”，G”，B”)执行伽玛校正时所获得的值，所以它们由下面的表达式(9)表示。
[数学式9]
Figure GDA0001650340950000361
通过上述，色偏校正数据生成单元401从参考视点的二维图像数据中提取特征点的RGB值(R，G，B)，并从基准视点的二维图像数据中提取该特征点的RGB值(Rc，Gc，Bc)。然后，色偏校正数据生成单元401基于所提取的RGB值(R，G，B)和RGB值(Rc，Gc，Bc)生成当RGB值(R，G，B)被转换成RGB值((Rc，Gc，Bc)时所需的伽马值γR、γG、γB以及系数a11至a13、a21至a23和a31至a33作为色偏校正数据。
此外，色偏校正数据生成单元401生成使RGB值(R，G，B)和RGB值(Rc，Gc，Bc)变得彼此相同的色偏校正数据作为用于基准视点的色偏校正数据。色偏校正数据生成单元401将包括所生成的每个视点的色偏校正数据的色偏校正信息提供给元数据添加单元402。
元数据添加单元402将由色偏校正数据生成单元401提供的色偏校正信息中的第一视点组的色偏校正信息作为元数据放置到从编码设备12向其发送的第一部分编码流中。此外，元数据添加单元402将从色偏校正数据生成单元401向其提供的色偏校正信息中的第二视点组的色偏校正信息作为元数据放置到从编码设备282向其发送的第二部分编码数据流中。
元数据添加单元402对在其中的每一个中放置了色偏校正信息作为元数据的第一部分编码流和第二部分编码流进行合成。元数据添加单元402(发送单元)将由于合成而获得的与预定显示图像生成方法对应的多个视点的编码流发送至解码设备284。
(色偏校正信息的示例)
图27是描绘了色偏校正信息的示例的图。
在图27的示例中，与预定显示图像生成方法对应的多个视点的数量为9个。
如图27所示，通过将与预定显示图像生成方法对应的所有视点的相机ID的每一个与视点的校正标志(isCorrectionFlag)和色偏校正数据相关联来配置色偏校正信息。
校正标志是指示在对应视点和基准视点之间是否出现色偏的标志。在指示在对应视点和基准视点之间出现色偏的情况下，校正标志为1，在指示不出现色偏的情况下，校正标志为0。
在图27的示例中，其相机ID为0的视点为基准视点，以及在其相机ID为1、2、4和6至9的参考视点与基准视点之间不出现色偏。因此，与为0至2、4和6至9的相机ID对应的校正标志为0，并且没有与相机ID对应地描述色偏校正数据。
同时，在图27的示例中，在基准视点与其相机ID为3和5的参考视点之间出现色偏。因此，与为3和5的相机ID对应的校正标志为1，并且与相机ID对应地描述了色偏校正数据。在图27中，将其相机ID为i的每个视点的色偏校正数据描述为P(i)。
应当指出的是，色偏校正信息可以包括指示出现色偏的所有视点的色偏校正数据是否彼此相同的色偏公共标志。在这种情况下，当出现色偏的所有视点的色偏校正数据彼此相同时，色偏校正信息包括指示出现色偏的所有视点的色偏校正数据彼此相同的色偏公共标志(色偏公共信息)以及对于出现色偏的所有视点共同的色偏校正数据。例如，在出现色偏的所有视点的色偏校正数据彼此相同的情况下，色偏公共标志为1，而在色偏校正数据不同的情况下，色偏公共标志为0。
(合成设备的处理的描述)
图28是示出了图26的合成设备400的合成处理的流程图。
图28的步骤S161和S162处的处理分别类似于图19的步骤S91和S92处的处理，因此省略了其描述。
在步骤S163处，合成设备400的色偏校正数据生成单元401对于每个参考视点基于通过解码单元321或解码单元322的解码而生成的基准视点和参考视点的二维图像数据来生成参考视点的色偏校正数据。此外，色偏校正数据生成单元401生成其中使RGB值(R，G，B)和RGB值(Rc，Gc，Bc)变得彼此相同的色偏校正数据作为用于基准视点的色偏校正数据。色偏校正数据生成单元401将包括所生成的视点的色偏校正数据的色偏校正信息提供给元数据添加单元402。
在步骤S164处，元数据添加单元402将由色偏校正数据生成单元401提供的色偏校正信息中的第一视点组的色偏校正信息作为元数据放置到从编码设备12发送的第一部分编码流中。
在步骤S165处，元数据添加单元402将由色偏校正数据生成单元401提供的色偏校正信息中的第二视点组的色偏校正信息作为元数据放置到从编码设备282发送的第二部分编码流中。
在步骤S166处，元数据添加单元402对其中每一个中设置有色偏校正信息作为元数据的第一部分编码流和第二部分编码流进行合成。元数据添加单元402将由于合成而获得的与预定显示图像生成方法对应的多个视点的编码流发送至解码设备284。
(转换单元的配置示例)
图29是描绘了转换单元420的配置的示例的框图。
在图29所描绘的部件中，与图8的部件相同的部件由相同的附图标记表示。适当地省略了重叠的描述。
图29的转换单元420的配置与图8的转换单元33的配置的不同之处在于新设置了颜色校正单元421。
转换单元420的颜色校正单元421根据上文给出的表达式(7)至(9)基于由于解码单元301的解码而获得的色偏校正信息来执行第一视点组和第二视点组的二维图像数据的颜色校正。因此，颜色和RGB值之间的关系在所有视点的二维图像数据中变得相同。颜色校正单元421将颜色校正之后的第一视点组和第二视点组的二维图像数据以及由于解码单元301的解码而获得的第一视点组和第二视点组的深度图像数据提供给三维数据生成单元151。
除了在步骤S32和步骤S33之间执行颜色校正单元421的颜色校正之外，第五实施方式中的解码设备284的解码处理类似于图9的解码处理。
如上所述，在第五实施方式中，使用由不同相机拾取的二维图像数据生成的第一部分编码流和第二部分编码流被合成并被发送至解码设备284。因此，在一些情况下在由于合成而获得的与预定显示图像生成方法对应的多个视点的编码流中可能出现色偏。
然而，在第五实施方式中，合成设备340对第一部分编码流和第二部分编码流进行一次解码，并且生成由于解码而获得的各个视点的二维图像数据的色偏校正数据。然后，合成设备340连同第一部分编码流和第二部分编码流一起发送所生成的色偏校正数据的色偏校正信息。因此，转换单元420可以基于色偏校正数据来校正第一视点组和第二视点组的每个视点的二维图像数据的色偏。因此，通过使用其色偏被校正的第一视点组和第二视点组的二维图像数据和深度图像数据生成三维数据，转换单元420可以提高三维数据中的二维图像数据的准确度。
此外，在第五实施方式中，由于合成设备400发送色偏校正信息，因此仅需要将色偏校正信息作为元数据放置到第一部分编码流和第二部分编码流中。因此，与其中第一部分编码流和第二部分编码流被解码然后在色偏被校正之后被重新编码的替代情况相比，可以减少合成设备400的处理量。
应当指出的是，在第五实施方式中，可以将包括用于校正周边相对于每个视点或每个视点组的二维图像数据的中心部分的调光的增益的周边调光校正信息作为元数据放置到第一部分编码流和第二部分编码流中。可替代地，每个视点或每个视点组的Exif(可交换图像文件格式)信息可以作为元数据被放置。
<第六实施方式>
(本公开内容所应用于的计算机的描述)
虽然上文所述的一系列处理可以通过硬件来执行，但也可以通过软件来执行。在通过软件执行该一系列处理的情况下，构成软件的程序被安装至计算机中。在此，在计算机中，包括合并在硬件中的专用计算机，例如可以通过安装各种程序等来执行各种功能的用于通用用途的个人计算机。
图30是描绘了通过程序执行上述一系列处理的计算机的硬件配置的示例的框图。
在计算机600中，CPU(中央处理单元)601、ROM(只读存储器)602和RAM(随机存取存储器)603通过总线604彼此连接。
总线604还连接有输入/输出接口605。输入/输出接口605还连接有输入单元606、输出单元607、存储单元608、通信单元609和驱动器610。
输入单元606包括例如键盘、鼠标、麦克风等。输出单元607包括例如显示器、扬声器等。存储单元608包括硬盘、非易失性存储器等。通信单元609包括网络接口等。驱动器610驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质611。
在以上述方式配置的计算机600中，CPU 601通过输入/输出接口605和总线604将存储在例如存储单元608中的程序加载到RAM 603中，并执行程序以执行上述一系列处理。
由计算机600(CPU 601)执行的程序可以被记录到例如作为封装介质的可移除介质611中并被提供为作为封装介质的可移除介质611。此外，该程序可以通过诸如局域网、因特网或数字卫星广播之类的有线或无线传输介质来提供。
在计算机600中，可以通过将可移除介质611加载到驱动器610中通过输入/输出接口605将程序安装到存储单元608中。此外，程序可以由通信单元609通过有线或无线传输介质接收并被安装到存储单元608中。可替代地，可以将程序预先安装到ROM 602或存储单元608中。
应该注意，由计算机600执行的程序可以是根据本说明书中描述的顺序以时间序列执行处理的程序，或者可以是并行地或者在必要时例如当程序被调用时等执行处理的程序。
此外，在本说明书中，术语系统表示多个组成元件(设备、模块(部分)等)的集合，并且无论所有组成元件是否被容纳在同一壳体中都没有关系。因此，容纳在分开的壳体中并且通过网络彼此连接的多个设备是系统，而包括容纳在单个壳体中的多个模块的一个设备也是系统。
应当指出的是，本说明书中描述的效果始终是示例性的而不是限制性的，并且可以包括其他效果。
此外，本公开内容的实施方式不限于上文描述的实施方式，而是可以在不偏离本公开内容的主题的情况下以各种方式被更改。
本公开还可以采用以下配置。
(1)一种编码设备，包括：
二维数据生成单元，其根据从多个第一视点的二维图像数据生成的拍摄对象的三维数据来生成与给定显示图像生成方法对应的多个第二视点的二维图像数据和指示像素中的每个像素相对于第三视点在所述拍摄对象的深度方向上的位置的深度图像数据；
编码单元，其对由所述二维数据生成单元生成的所述多个第二视点的二维图像数据和所述深度图像数据进行编码；以及
发送单元，其发送由所述编码单元编码的所述多个第二视点的二维图像数据和所述深度图像数据。
(2)根据(1)所述的编码设备，其中，
所述多个第一视点和所述多个第二视点不同。
(3)根据(1)或(2)所述的编码设备，其中，
所述多个第二视点以相等间隔存在于同一圆上。
(4)根据(1)或(2)所述的编码设备，其中，
所述多个第二视点中的至少两个视点在基本水平方向上排列。
(5)根据(4)所述的编码设备，其中，
所述发送单元发送指定所述多个第二视点中的在水平方向上排列的两个视点的信息。
(6)根据(1)至(5)中任一项所述的编码设备，其中，
所述发送单元发送在所述多个第二视点的二维图像数据中的遮挡区域中的三维数据。
(7)根据(1)至(6)中任一项所述的编码设备，其中，
所述二维数据生成单元基于所述多个第二视点的相机参数根据所述三维数据来生成所述多个第二视点的二维图像数据，并且基于所述第三视点的相机参数来生成所述深度图像数据；以及
所述发送单元发送所述多个第二视点的相机参数和所述第三视点的相机参数。
(8)根据(1)至(7)中任一项所述的编码设备，其中，
所述给定显示图像生成方法的数量为多个。
(9)根据(1)至(8)中任一项所述的编码设备，其中，
所述多个第二视点和所述第三视点相同。
(10)一种编码设备的编码方法，所述编码方法包括：
二维数据生成步骤：根据从多个第一视点的二维图像数据生成的拍摄对象的三维数据来生成与给定显示图像生成方法对应的多个第二视点的二维图像数据和指示像素中的每个像素相对于第三视点在所述拍摄对象的深度方向上的位置的深度图像数据；
编码步骤：对由所述二维数据生成步骤的处理生成的所述多个第二视点的二维图像数据和所述深度图像数据进行编码；以及
发送步骤：发送由所述编码步骤的处理编码的所述多个第二视点的二维图像数据和所述深度图像数据。
(11)一种解码设备，包括：
解码单元，其对与给定显示图像生成方法对应的多个第一视点的二维图像数据的编码数据和指示像素中的每个像素相对于第二视点在拍摄对象的深度方向上的位置的深度图像数据的编码数据进行解码；
三维数据生成单元，其使用由于所述解码单元的解码而获得的所述多个第一视点的二维图像数据和所述深度图像数据来生成所述拍摄对象的三维数据；以及
二维数据生成单元，其基于由所述三维数据生成单元生成的所述三维数据通过所述给定显示图像生成方法来生成二维图像数据作为显示图像数据。
(12)根据(11)所述的解码设备，其中，
所述多个第一视点以相等间隔存在于同一圆上。
(13)根据(11)所述的解码设备，其中，
所述多个第一视点中的至少两个视点在基本水平方向上排列。
(14)根据(13)所述的解码设备，还包括：
接收单元，其接收指定所述多个第一视点中的在水平方向上排列的两个视点的信息。
(15)根据(11)至(14)中任一项所述的解码设备，其中，
根据从多个第三视点的二维图像数据生成的所述拍摄对象的三维数据来生成所述多个第一视点的二维图像数据和所述深度图像数据拍摄对象。
(16)根据(15)所述的解码设备，其中，
所述三维数据生成单元使用所述多个第一视点的二维图像数据、所述深度图像数据以及所述多个第一视点的二维图像数据中的遮挡区域的三维数据来生成所述拍摄对象的三维数据。
(17)根据(11)至(16)中任一项所述的解码设备，其中，
所述三维数据生成单元基于所述多个第一视点的相机参数和所述第二视点的相机参数来生成所述拍摄对象的三维数据。
(18)根据(11)至(17)中任一项所述的解码设备，其中，
所述给定显示图像生成方法的数量为多个。
(19)根据(11)至(18)中任一项所述的解码设备，其中，
所述多个第一视点和所述第二视点相同。
(20)一种解码设备的解码方法，所述解码方法包括：
解码步骤：对与给定显示图像生成方法对应的多个第一视点的二维图像数据的编码数据和指示像素中的每个像素相对于第二视点在拍摄对象的深度方向上的位置的深度图像数据的编码数据进行解码；
三维数据生成步骤：使用由于由所述解码步骤的处理进行的解码而获得的所述多个第一视点的二维图像数据和所述深度图像数据来生成所述拍摄对象的三维数据；以及
二维数据生成步骤：基于由所述三维数据生成步骤的处理生成的所述三维数据通过所述给定显示图像生成方法来生成二维图像数据作为显示图像数据。
[附图标记列表]
11拍摄设备，12编码设备，13解码设备，22编码单元，23发送单元，31接收单元，32解码单元，53二维数据生成单元，151三维数据生成单元，154二维数据生成单元，171拍摄设备，172编码设备，173解码设备，192转换单元，211-1至211-N相机，222同步偏差检测单元，261-1至261-2N解码处理单元，262输出单元，282编码设备，283合成设备，284解码设备，292编码单元，301解码单元，321、322解码单元，323同步偏差检测单元，324元数据添加单元，340合成设备，341坐标变换数据生成单元，342元数据添加单元，391、392三维位置转换单元，393坐标变换单元，394数据生成单元，400合成设备，401色偏校正数据生成单元，402元数据添加单元，421颜色校正单元

Claims (21)

1.一种编码设备，包括：
二维数据生成单元，其根据拍摄对象的三维模型来生成与给定显示图像生成方法对应的多个第一视点的二维图像数据和指示像素中的每个像素相对于第二视点在所述拍摄对象的深度方向上的位置的深度图像数据；
编码单元，其对由所述二维数据生成单元生成的所述多个第一视点的二维图像数据和所述深度图像数据进行编码；以及
发送单元，其发送由所述编码单元编码的所述多个第一视点的二维图像数据和所述深度图像数据，
其中，所述三维模型包括指示构成栅格的点和所述点的连接的三维位置的几何信息以及所述栅格的二维图像数据。
2.根据权利要求1所述的编码设备，其中，
通过基于相机的视点的二维图像数据和深度图像数据以及所述相机的内部参数和外部参数进行建模来产生所述拍摄对象的三维模型。
3.根据权利要求1所述的编码设备，其中，
所述多个第一视点以相等间隔存在于同一圆上。
4.根据权利要求1所述的编码设备，其中，
所述多个第一视点中的至少两个视点在基本水平方向上排列。
5.根据权利要求4所述的编码设备，其中，
所述发送单元发送指定所述多个第一视点中的在水平方向上排列的两个视点的信息。
6.根据权利要求1所述的编码设备，其中，
所述发送单元发送在所述多个第一视点的二维图像数据中的遮挡区域中的三维数据。
7.根据权利要求1所述的编码设备，其中，
所述二维数据生成单元基于所述多个第一视点的相机参数根据所述三维模型来生成所述多个第一视点的二维图像数据，并且基于所述第二视点的相机参数来生成所述深度图像数据；以及
所述发送单元发送所述多个第一视点的相机参数和所述第二视点的相机参数。
8.根据权利要求1所述的编码设备，其中，
所述给定显示图像生成方法的数量为多个。
9.根据权利要求1所述的编码设备，其中，
所述多个第一视点和所述第二视点相同。
10.一种编码设备的编码方法，所述编码方法包括：
二维数据生成步骤：根据拍摄对象的三维模型来生成与给定显示图像生成方法对应的多个第一视点的二维图像数据和指示像素中的每个像素相对于第二视点在所述拍摄对象的深度方向上的位置的深度图像数据；
编码步骤：对由所述二维数据生成步骤的处理生成的所述多个第一视点的二维图像数据和所述深度图像数据进行编码；以及
发送步骤：发送由所述编码步骤的处理编码的所述多个第一视点的二维图像数据和所述深度图像数据，
其中，所述三维模型包括指示构成栅格的点和所述点的连接的三维位置的几何信息以及所述栅格的二维图像数据。
11.一种解码设备，包括：
接收单元，被配置成接收根据拍摄对象的三维模型生成的多个第一视点的二维图像数据的编码数据和指示像素中的每个像素相对于第二视点在拍摄对象的深度方向上的位置的深度图像数据的编码数据；
解码单元，被配置成对所述多个第一视点的二维图像数据的编码数据和指示像素中的每个像素相对于第二视点在拍摄对象的深度方向上的位置的深度图像数据的编码数据进行解码；
三维数据生成单元，被配置成使用根据所述解码单元的解码结果而获得的所述多个第一视点的二维图像数据和所述深度图像数据来生成所述拍摄对象的三维模型；以及
二维数据生成单元，被配置成基于由所述三维数据生成单元生成的所述三维模型通过给定显示图像生成方法来生成二维图像数据作为显示图像数据，
其中，所述三维模型包括指示构成栅格的点和所述点的连接的三维位置的几何信息以及所述栅格的二维图像数据。
12.根据权利要求11所述的解码设备，其中，
所述拍摄对象的三维模型是由所述三维数据生成单元通过基于相机的视点的二维图像数据和深度图像数据以及所述相机的内部参数和外部参数进行建模来生成的。
13.根据权利要求11所述的解码设备，其中，
所述多个第一视点以相等间隔存在于同一圆上。
14.根据权利要求11所述的解码设备，其中，
所述多个第一视点中的至少两个视点在基本水平方向上排列。
15.根据权利要求14所述的解码设备，
所述接收单元还接收指定所述多个第一视点中的在水平方向上排列的两个视点的信息。
16.根据权利要求11所述的解码设备，其中，
根据从多个第三视点的二维图像数据生成的所述拍摄对象的三维模型来生成所述多个第一视点的二维图像数据和所述深度图像数据。
17.根据权利要求16所述的解码设备，其中，
所述三维数据生成单元使用所述多个第一视点的二维图像数据、所述深度图像数据以及所述多个第一视点的二维图像数据中的遮挡区域的三维数据来生成所述拍摄对象的三维模型。
18.根据权利要求11所述的解码设备，其中，
所述三维数据生成单元基于所述多个第一视点的相机参数和所述第二视点的相机参数来生成所述拍摄对象的三维模型。
19.根据权利要求11所述的解码设备，其中，
所述给定显示图像生成方法的数量为多个。
20.根据权利要求11所述的解码设备，其中，
所述多个第一视点和所述第二视点相同。
21.一种解码设备的解码方法，所述解码方法包括：
接收步骤：接收根据拍摄对象的三维模型生成的多个第一视点的二维图像数据的编码数据和指示像素中的每个像素相对于第二视点在拍摄对象的深度方向上的位置的深度图像数据的编码数据；
解码步骤：对所述多个第一视点的二维图像数据的编码数据和指示像素中的每个像素相对于第二视点在拍摄对象的深度方向上的位置的深度图像数据的编码数据进行解码；
三维数据生成步骤：使用根据所述解码步骤的处理进行的解码结果而获得的所述多个第一视点的二维图像数据和所述深度图像数据来生成所述拍摄对象的三维模型；以及
二维数据生成步骤：基于由所述三维数据生成步骤的处理生成的所述三维模型通过给定显示图像生成方法来生成二维图像数据作为显示图像数据，
其中，所述三维模型包括指示构成栅格的点和所述点的连接的三维位置的几何信息以及所述栅格的二维图像数据。
CN201680064678.3A 2015-11-11 2016-10-28 编码设备和编码方法以及解码设备和解码方法 Active CN108353157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110383257.XA CN113286137B (zh) 2015-11-11 2016-10-28 编码设备和编码方法以及解码设备和解码方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-221233 2015-11-11
JP2015221233 2015-11-11
PCT/JP2016/082024 WO2017082076A1 (ja) 2015-11-11 2016-10-28 符号化装置および符号化方法、復号装置および復号方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110383257.XA Division CN113286137B (zh) 2015-11-11 2016-10-28 编码设备和编码方法以及解码设备和解码方法

Publications (2)

Publication Number Publication Date
CN108353157A CN108353157A (zh) 2018-07-31
CN108353157B true CN108353157B (zh) 2021-06-08

Family

ID=58695131

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110383257.XA Active CN113286137B (zh) 2015-11-11 2016-10-28 编码设备和编码方法以及解码设备和解码方法
CN201680064678.3A Active CN108353157B (zh) 2015-11-11 2016-10-28 编码设备和编码方法以及解码设备和解码方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110383257.XA Active CN113286137B (zh) 2015-11-11 2016-10-28 编码设备和编码方法以及解码设备和解码方法

Country Status (14)

Country Link
US (1) US11716487B2 (zh)
EP (1) EP3343914A4 (zh)
JP (3) JP6384744B2 (zh)
KR (1) KR102516992B1 (zh)
CN (2) CN113286137B (zh)
AU (2) AU2016352648A1 (zh)
BR (1) BR112018009070A8 (zh)
CA (1) CA3004241A1 (zh)
MX (1) MX2018005501A (zh)
PH (1) PH12018500977A1 (zh)
RU (1) RU2721678C2 (zh)
SG (1) SG11201803682RA (zh)
WO (1) WO2017082076A1 (zh)
ZA (1) ZA201802193B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10269181B2 (en) * 2017-05-31 2019-04-23 Verizon Patent And Licensing Inc. Methods and systems for generating a virtualized projection of a customized view of a real-world scene for inclusion within virtual reality media content
US10311630B2 (en) * 2017-05-31 2019-06-04 Verizon Patent And Licensing Inc. Methods and systems for rendering frames of a virtual scene from different vantage points based on a virtual entity description frame of the virtual scene
WO2019031259A1 (ja) * 2017-08-08 2019-02-14 ソニー株式会社 画像処理装置および方法
JP7119425B2 (ja) 2018-03-01 2022-08-17 ソニーグループ株式会社 画像処理装置、符号化装置、復号化装置、画像処理方法、プログラム、符号化方法及び復号化方法
CN108769643A (zh) * 2018-06-15 2018-11-06 深圳超多维科技有限公司 视频拍摄方法、装置及系统
EP3820147A4 (en) * 2018-07-06 2022-07-20 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
CN110876050B (zh) * 2018-08-31 2021-08-20 盎锐（上海）信息科技有限公司 基于3d摄像机的数据处理装置及方法
JP2020086700A (ja) 2018-11-20 2020-06-04 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び、表示装置
JP2020095465A (ja) 2018-12-12 2020-06-18 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
JP2022028091A (ja) 2018-12-19 2022-02-15 ソニーグループ株式会社 画像処理装置、画像処理方法、及び、プログラム
KR20210107631A (ko) 2018-12-25 2021-09-01 소니그룹주식회사 영상 재생 장치, 재생 방법 및 프로그램
US11055901B2 (en) 2019-03-07 2021-07-06 Alibaba Group Holding Limited Method, apparatus, medium, and server for generating multi-angle free-perspective video data
CN111669570B (zh) * 2019-03-07 2023-12-19 阿里巴巴集团控股有限公司 多角度自由视角视频数据处理方法及装置、介质、设备
EP3982331A4 (en) 2019-06-28 2022-11-09 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
EP4026094A4 (en) * 2019-10-07 2022-11-09 Huawei Technologies Co., Ltd. VIDEO-BASED POINT CLOUD COMPRESSION (V-PCC) TIME INFORMATION
CN114556433A (zh) 2019-10-21 2022-05-27 索尼集团公司 信息处理装置、3d数据生成方法及程序
CN112788325B (zh) * 2019-11-06 2023-06-02 Oppo广东移动通信有限公司 一种图像处理方法、编码装置、解码装置及存储介质
JP2021099430A (ja) * 2019-12-23 2021-07-01 セイコーエプソン株式会社 表示装置の制御方法及び表示装置
KR102242710B1 (ko) * 2019-12-31 2021-04-22 서울과학기술대학교 산학협력단 반자유 시점 영상을 제공하는 장치
JPWO2021187093A1 (zh) 2020-03-17 2021-09-23
CN116075860A (zh) * 2020-07-30 2023-05-05 索尼集团公司 信息处理装置、信息处理方法、视频分发方法和信息处理系统
CN114926605B (zh) * 2022-07-19 2022-09-30 北京飞渡科技有限公司 一种三维模型的抽壳方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1765133A (zh) * 2004-02-20 2006-04-26 三菱电机株式会社 三维电视系统和提供三维电视的方法
CN101453662A (zh) * 2007-12-03 2009-06-10 华为技术有限公司 立体视频通信终端、系统及方法
CN101472190A (zh) * 2007-12-28 2009-07-01 深圳华为通信技术有限公司 多视角摄像及图像处理装置、系统及方法与解码处理方法
CN102265617A (zh) * 2008-12-26 2011-11-30 日本胜利株式会社 图像编码装置、图像编码方法及其程序、以及图像解码装置、图像解码方法及其程序
CN102724520A (zh) * 2011-03-29 2012-10-10 青岛海信电器股份有限公司 视频处理方法和系统
CN103650515A (zh) * 2011-07-14 2014-03-19 高通股份有限公司 无线3d流式传输服务器

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3231618B2 (ja) * 1996-04-23 2001-11-26 日本電気株式会社 ３次元画像符号化復号方式
US8244025B2 (en) * 2006-03-20 2012-08-14 Siemens Energy, Inc. Method of coalescing information about inspected objects
WO2009001255A1 (en) * 2007-06-26 2008-12-31 Koninklijke Philips Electronics N.V. Method and system for encoding a 3d video signal, enclosed 3d video signal, method and system for decoder for a 3d video signal
BRPI0911447A2 (pt) * 2008-04-25 2018-03-20 Thomson Licensing codificação de sinal de profundidade
JP5035195B2 (ja) * 2008-09-25 2012-09-26 Ｋｄｄｉ株式会社 画像生成装置及びプログラム
EP2197217A1 (en) * 2008-12-15 2010-06-16 Koninklijke Philips Electronics N.V. Image based 3D video format
JP4821846B2 (ja) * 2008-12-26 2011-11-24 日本ビクター株式会社 画像符号化装置、画像符号化方法およびそのプログラム
JP2010157821A (ja) * 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法およびそのプログラム
JP2010157823A (ja) 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法およびそのプログラム
CN105744284B (zh) * 2009-02-19 2019-04-19 交互数字麦迪逊专利控股公司 使用3d视频格式的装置
KR101694821B1 (ko) * 2010-01-28 2017-01-11 삼성전자주식회사 다시점 비디오스트림에 대한 링크 정보를 이용하는 디지털 데이터스트림 전송 방법와 그 장치, 및 링크 정보를 이용하는 디지털 데이터스트림 전송 방법과 그 장치
JP2012023488A (ja) * 2010-07-13 2012-02-02 Ntt Docomo Inc 画像処理装置、画像処理方法、表示装置及びプログラム
HU1000640D0 (en) * 2010-11-29 2011-02-28 Holografika Hologrameloeallito Fejlesztoe Es Forgalmazo Kft Image coding and decoding method and apparatus for efficient encoding and decoding of 3d field content
EP2668634B1 (en) * 2011-01-24 2019-04-24 Intel Corporation Method and system for acquisition, representation, compression, and transmission of three-dimensional data
US20120314031A1 (en) * 2011-06-07 2012-12-13 Microsoft Corporation Invariant features for computer vision
JP2013211777A (ja) * 2012-03-30 2013-10-10 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
KR102126532B1 (ko) * 2013-09-30 2020-06-24 엘지디스플레이 주식회사 멀티뷰 영상 생성 방법과 이를 이용한 입체 영상 표시 장치
GB2525170A (en) 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing
EP3175200A4 (en) * 2014-07-31 2018-04-04 Hewlett-Packard Development Company, L.P. Three dimensional scanning system and framework
US20170004647A1 (en) * 2015-06-30 2017-01-05 Microsoft Technology Licensing, Llc Rendering graphics data on demand

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1765133A (zh) * 2004-02-20 2006-04-26 三菱电机株式会社 三维电视系统和提供三维电视的方法
CN101453662A (zh) * 2007-12-03 2009-06-10 华为技术有限公司 立体视频通信终端、系统及方法
CN101472190A (zh) * 2007-12-28 2009-07-01 深圳华为通信技术有限公司 多视角摄像及图像处理装置、系统及方法与解码处理方法
CN102265617A (zh) * 2008-12-26 2011-11-30 日本胜利株式会社 图像编码装置、图像编码方法及其程序、以及图像解码装置、图像解码方法及其程序
CN102724520A (zh) * 2011-03-29 2012-10-10 青岛海信电器股份有限公司 视频处理方法和系统
CN103650515A (zh) * 2011-07-14 2014-03-19 高通股份有限公司 无线3d流式传输服务器

Also Published As

Publication number Publication date
KR20180081720A (ko) 2018-07-17
EP3343914A4 (en) 2019-04-10
US20180302647A1 (en) 2018-10-18
SG11201803682RA (en) 2018-06-28
PH12018500977A1 (en) 2019-01-28
JP7143905B2 (ja) 2022-09-29
BR112018009070A2 (pt) 2018-10-30
CN108353157A (zh) 2018-07-31
US11716487B2 (en) 2023-08-01
AU2016352648A1 (en) 2018-05-10
CN113286137B (zh) 2024-02-02
WO2017082076A1 (ja) 2017-05-18
ZA201802193B (en) 2020-08-26
AU2021203450A1 (en) 2021-06-24
JP6872131B2 (ja) 2021-05-19
JPWO2017082076A1 (ja) 2018-07-26
JP2018182755A (ja) 2018-11-15
JP6384744B2 (ja) 2018-09-05
RU2018116473A (ru) 2019-11-05
EP3343914A1 (en) 2018-07-04
JP2021072639A (ja) 2021-05-06
CA3004241A1 (en) 2017-05-18
KR102516992B1 (ko) 2023-04-04
RU2018116473A3 (zh) 2019-11-05
AU2021203450B2 (en) 2022-11-24
BR112018009070A8 (pt) 2019-02-26
MX2018005501A (es) 2018-08-01
CN113286137A (zh) 2021-08-20
RU2721678C2 (ru) 2020-05-21

Similar Documents

Publication Publication Date Title
CN108353157B (zh) 编码设备和编码方法以及解码设备和解码方法
CN108353156B (zh) 图像处理装置和图像处理方法
CN108243629B (zh) 图像处理设备和图像处理方法
EP2845164B1 (en) Reference card for scene referred metadata capture
JP7009996B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant