CN108243629A - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN108243629A
CN108243629A CN201680064645.9A CN201680064645A CN108243629A CN 108243629 A CN108243629 A CN 108243629A CN 201680064645 A CN201680064645 A CN 201680064645A CN 108243629 A CN108243629 A CN 108243629A
Authority
CN
China
Prior art keywords
dimensional
data
viewpoint
image data
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680064645.9A
Other languages
English (en)
Other versions
CN108243629B (zh
Inventor
田中润
田中润一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108243629A publication Critical patent/CN108243629A/zh
Application granted granted Critical
Publication of CN108243629B publication Critical patent/CN108243629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开涉及能够基于二维图像数据和深度图像数据生成具有高精度的三维数据的图像处理设备和图像处理方法。基于第一视点组的二维图像数据和第二视点组的二维图像数据，坐标变换数据生成单元生成用于将第一视点组的第一三维坐标系中的三维位置转换为第二视点组的第二三维坐标系中的三维位置的坐标变换数据。元数据添加单元发送：包括第一视点组的深度图像数据和二维图像数据的编码数据，深度图像数据表示每个像素在成像对象的深度方向上的位置；包括第二视点组的深度图像数据和二维图像数据的编码数据；以及包含由坐标变换数据生成单元生成的坐标变换数据的坐标变换信息。本公开适用于例如合成设备等。

Description

图像处理设备和图像处理方法
技术领域
本公开涉及图像处理设备和图像处理方法，并且具体涉及如下图像处理设备和图像处理方法：通过该图像处理设备和图像处理方法，可以基于二维图像数据和深度图像数据来生成具有高精度的三维数据。
背景技术
在多视点立体声技术中，设计了一种发送系统，其记录、编码、发送、解码和显示三维数据，该三维数据包括由多个摄像机拍摄的三维对象的三维位置信息和二维图像数据(例如参照非专利文献1)。作为三维数据的编码方法，可以使用MPEG(运动图像专家组)方法等(例如，参见非专利文献2)。
此外，设计了一种发送系统，通过该发送系统，多个不同视点的二维图像数据和包括深度的深度图像数据(二者都是从多个摄像机获得的)被记录、编码、发送、解码并原样显示，深度指示图像拍摄对象的深度方向(垂直于图像拍摄平面的方向)上的像素的位置。作为用于编码二维图像数据和深度图像数据的方法，可以使用MVCD(多视点和深度视频编码)方法、AVC(高级视频编码)方法、HEVC(高效视频编码)方法等。
引用列表
非专利文献
非专利文献1
Ming Chuang,Pat Sweeney,Don Gillett,Dennis Evseev,David Calabrese,Hugues Hoppe,Adam Kirk,Steve Sullivan,“High-Quality Streamable Free-ViewpointVideo,Alvaro Collet,”Microsoft Corporation
非专利文献2
Marius Preda,“MPEG Graphics Compression Model”MPEG document:N9892,May2008
发明内容
技术问题
然而，在将图像拍摄对象的三维信息作为三维数据发送的情况下，在接收侧需要处理三维数据的高功能的处理单元。
此外，在以由多个摄像机获得的二维图像数据和深度图像数据的形式发送图像拍摄对象的三维信息的情况下，虽然便于接收侧的处理，但是视点处的二维图像数据和深度图像数据的三维坐标系有时不同。在这种情况下，不能基于视点的二维图像数据和深度图像数据生成具有高精度的三维数据。
鉴于如上所述的这种情况做出了本公开，并且本公开的目的是使得可以基于二维图像数据和深度图像数据生成具有高精度的三维数据。
问题的解决方案
根据本公开的第一方面的图像处理设备是如下图像处理设备，包括：坐标变换数据生成单元，其基于第一视点的二维图像数据和第二视点的二维图像数据来生成坐标变换数据，坐标变换数据用于将第一视点的第一三维坐标系中的三维位置转换为第二视点的第二三维坐标系中的三维位置；以及发送单元，其发送第一编码数据、第二编码数据以及包括由坐标变换数据生成单元生成的坐标变换数据的坐标变换信息，第一编码数据是第一视点的二维图像数据和深度图像数据的编码数据，第二编码数据是第二视点的二维图像数据和深度图像数据的编码数据，深度图像数据指示每个像素在图像拍摄对象的深度方向上的位置。
根据本公开的第一方面的图像处理方法对应于本公开的第一方面的图像处理设备。
在本公开的第一方面中，基于第一视点的二维图像数据和第二视点的二维图像数据，生成用于将第一视点的第一三维坐标系中的三维位置转换为第二视点的第二三维坐标系中的三维位置的坐标变换数据，并且发送第一编码数据、第二编码数据和包括坐标变换数据的坐标变换信息，第一编码数据是第一视点的二维图像数据和深度图像数据的编码数据，第二编码数据是第二视点的二维图像数据和深度图像数据的编码数据，深度图像数据指示每个像素在图像拍摄对象的深度方向上的位置。
根据本公开的第二方面的图像处理设备是如下图像处理设备，包括：解码单元，其对第一编码数据和第二编码数据进行解码，第一编码数据是第一视点的二维图像数据和深度图像数据的编码数据，第二编码数据是第二视点的二维图像数据和深度图像数据的编码数据，深度图像数据指示每个像素在图像拍摄对象的深度方向上的位置；第一三维位置转换单元，其基于第一视点的第一三维坐标系中的第一摄像机参数以及作为解码单元解码的结果获得的第一视点的二维图像数据和深度图像数据，将第一视点的二维图像数据的每个像素的二维位置转换为第一三维坐标系中的三维位置；以及坐标变换单元，其基于包括用于将第一三维坐标系中的三维位置转换为第二视点的第二三维坐标系中的三维位置的坐标变换数据的坐标变换信息，将由第一三维位置转换单元转换后的第一三维坐标系中的三维位置转换为第二三维坐标系中的三维位置。
根据本公开的第二方面的图像处理方法和程序对应于本公开的第二方面的图像处理设备。
在本公开的第二方面中，对第一编码数据和第二编码数据进行解码，第一编码数据是第一视点的二维图像数据和深度图像数据的编码数据，第二编码数据是第二视点的二维图像数据和深度图像数据的编码数据，深度图像数据指示每个像素在图像拍摄对象的深度方向上的位置。然后，基于第一视点的第一三维坐标系中的第一摄像机参数以及作为解码结果获得的第一视点的二维图像数据和深度图像数据，将第一视点的二维图像数据的每个像素的二维位置转换为第一三维坐标系中的三维位置。然后，基于包括用于将第一三维坐标系中的三维位置转换为第二视点的第二三维坐标系中的三维位置的坐标变换数据的坐标变换信息，将第一三维坐标系中的三维位置转换为第二三维坐标系中的三维位置。
要注意的是，第一方面和第二方面中的图像处理设备可以通过使计算机执行程序来实现。
此外，为了实现第一方面和第二方面的图像处理设备，要由计算机执行的程序可以通过经由发送介质发送程序或通过将程序记录在记录介质上来提供。
发明的有益效果
利用本公开的第一方面，可以执行图像处理。此外，利用本公开的第一方面，可以执行图像处理，使得可以基于二维图像数据和深度图像数据生成具有高精度的三维数据。
利用本公开的第二方面，可以执行图像处理。此外，利用本公开的第二方面，可以基于二维图像数据和深度图像数据生成具有高精度的三维数据。
要注意的是，这里描述的效果不一定是限制性的，并且可以应用本公开中描述的效果中的任何一个。
附图说明
[图1]图1是示出应用本公开的发送系统的第一实施例的配置的示例的框图。
[图2]图2是示出图1的转换单元的配置的示例的框图。
[图3]图3是示出与预定显示图像生成方法对应的多个视点的示例的视图。
[图4]图4是示出摄像机相关信息的示例的视图。
[图5]图5是示出图1的图像拍摄设备和编码设备的编码处理的流程图。
[图6]图6是示出图1的转换单元的第一配置示例的框图。
[图7]图7是示出图1的转换单元的第二配置示例的框图。
[图8]图8是示出图1的转换单元的第三配置示例的框图。
[图9]图9是示出图1的解码设备的解码处理的流程图。
[图10]图10是示出应用本公开的发送系统的第二实施例的配置的示例的框图。
[图11]图11是示出图10的图像拍摄设备的配置的示例的框图。
[图12]图12是示出同步偏差信息的示例的视图。
[图13]图13是示出图10的编码设备的配置的示例的框图。
[图14]图14是示出图10的图像拍摄设备和编码设备的编码处理的流程图。
[图15]图15是示出图10的解码单元的配置的示例的框图。
[图16]图16是示出图10的解码设备的解码处理的流程图。
[图17]图17是示出应用本公开的发送系统的第三实施例的配置的示例的框图。
[图18]图18是示出图17的合成设备的配置的示例的框图。
[图19]图19是示出图18的合成设备的合成处理的流程图。
[图20]图20是示出第四实施例中的合成设备的配置的示例的框图。
[图21]图21是示出用于生成坐标变换数据的处理的视图。
[图22]图22是示出坐标变换信息的示例的视图。
[图23]图23是示出图20的合成设备的合成处理的流程图。
[图24]图24是示出第四实施例中的转换单元的配置的示例的框图。
[图25]图25是示出第四实施例中的解码设备的解码处理的流程图。
[图26]图26是示出第五实施例中的合成设备的配置的示例的框图。
[图27]图27是示出色彩偏移校正信息的示例的视图。
[图28]图28是示出图26的合成设备的合成处理的流程图。
[图29]图29是示出第五实施例中的转换单元的配置的示例的框图。
[图30]图30是示出计算机的硬件配置的示例的框图。
具体实施方式
在下文中，描述用于执行本公开的模式(在下文中被称为实施例)。要注意的是，按以下顺序给出描述。
1.第一实施例：发送系统(图1至图9)
2.第二实施例：发送系统(图10至图16)
3.第三实施例：发送系统(图17至图19)
4.第四实施例：发送系统(图20至图25)
5.第五实施例：发送系统(图26至图29)
6.第六实施例：计算机(图30)
<第一实施例>
(发送系统的第一实施例的配置的示例)
图1是示出应用本公开的发送系统的第一实施例的配置的示例的框图。
图1的发送系统10包括：图像拍摄设备11、编码设备12、解码设备13和显示设备14。发送系统10使用从图像拍摄设备11获取的二维图像数据等根据预定显示图像生成方法来生成并显示显示图像数据。
具体地，发送系统10的图像拍摄设备11包括例如多摄像机、距离测量仪器和图像处理单元。图像拍摄设备11的多摄像机包括多个(例如八个)摄像机，其拍摄图像拍摄对象的运动图像的二维图像数据，在摄像机之间这些运动图像的至少一部分相同。例如，在每个摄像机中设置距离测量仪器并且距离测量仪器生成与摄像机的视点相同的视点的深度图像数据。
图像拍摄设备11的图像处理单元(三维数据生成单元)使用摄像机的视点的二维图像数据和深度图像数据以及摄像机的内部参数和外部参数、通过可见外壳(VisualHull)等来执行建模以生成网格。图像处理单元生成指示构成所生成的网格的点(顶点)的三维位置和点的链接(多边形)的几何信息(几何图形)以及网格的二维图像数据，作为图像拍摄对象的三维数据，并且将三维数据提供给编码设备12。
例如，在Saied Moezzi，Li-Cheng Tai，Philippe Gerard，“Virtual ViewGeneration for 3D Digital”，University of California,San Diego or Takeo Kanade和Peter Ranger,P.J.Narayanan,“Virtualized Reality:Constructing Virtual Worldsfrom Real Scenes”中描述了用于根据多个视点的二维图像数据和深度图像数据生成三维数据的方法的细节。
编码设备12包括转换单元21、编码单元22和发送单元23。
编码设备12的转换单元21将与预定显示图像生成方法对应的多个视点的虚拟摄像机的内部参数和外部参数设置为摄像机参数。转换单元21基于摄像机参数、根据从图像拍摄设备11提供的三维数据来生成与预定显示图像生成方法对应的多个视点的二维图像数据和深度图像数据。
例如在Masayuki TANIMOTO,“Aiming for ultimate video communication,”Technical Report of the Proceedings of the Institute of Electronics,Information and Communication Engineers,CS,CommunicationMethod 110(323),73-78,2010-11-25等中描述了用于根据三维数据生成多个视点的二维图像数据和深度图像数据的3DCG技术的细节。
在本说明书中，尽管假设二维图像数据和深度图像数据的视点彼此相同，但是二维图像数据和深度图像数据的视点和视点数量可以彼此不同。此外，二维图像数据和深度图像数据的视点和视点数量可以与图像拍摄设备11的摄像机的视点和视点数量相同或不同。
转换单元21根据从图像拍摄设备11提供的三维数据提取从与预定显示图像生成方法对应的多个视点不可见的遮挡(occlusion)区域中的三维数据(这种数据在下文中被称为遮挡三维数据)。转换单元21向编码单元22提供与预定显示图像生成方法对应的多个视点的二维图像数据和深度图像数据和遮挡三维数据以及包括摄像机相关信息的元数据，摄像机相关信息是关于虚拟摄像机的信息如视点的摄像机参数等。
编码单元22对从转换单元21提供的二维图像数据、深度图像数据和元数据进行编码。作为编码方法，可以采用MVCD(多视点和深度视频编码)方法、AVC方法、HEVC方法等。
在编码方法是MVCD方法的情况下，集体编码所有视点的二维图像数据和深度图像数据。因此，生成包括二维图像数据和深度图像数据的编码数据以及元数据的单个编码流。在这种情况下，元数据中的摄像机参数被放置在编码流的参考显示信息SEI中。同时，元数据中的与深度图像数据有关的信息被放置在深度表示信息SEI中。
另一方面，在编码方法是AVC方法或HEVC方法的情况下，视点的深度图像数据和二维图像数据被彼此分开地编码。因此，生成包括视点的二维图像数据和元数据的每个视点的编码流和包括视点的深度图像数据的编码数据和元数据的每个视点的编码流。在这种情况下，元数据被放置在例如每个编码流的用户未注册的SEI中。此外，元数据包括将编码流和摄像机参数等彼此相关联的信息。
要注意的是，将编码流和摄像机参数等相关联的信息可以不包括在元数据中，而是可以在编码流中仅包括与编码流对应的元数据。
编码单元22将编码流提供给发送单元23。发送单元23将从编码单元22提供的编码流发送至解码设备13。要注意的是，虽然在本说明书中陈述了元数据被放置在编码流中并与编码流一起被发送，但是元数据可以另外与编码流分开发送。
解码设备13包括接收单元31、解码单元32和转换单元33。
解码设备13的接收单元31接收从发送单元23发送的编码流，并且将编码流提供给解码单元32。解码单元32根据与编码单元22的编码方法对应的方法对从接收单元31提供的编码流进行解码。解码单元32将作为解码结果获得的多个视点的二维图像数据和深度图像数据以及元数据提供给转换单元33。
转换单元33基于从解码单元32提供的元数据和解码设备13的显示图像生成方法，从多个视点的二维图像数据和深度图像数据中选择预定视点的二维图像数据或预定视点的二维图像数据和深度图像数据。转换单元33基于所选择的预定视点的二维图像数据或者所选择的预定视点的二维图像数据和深度图像数据来生成显示图像数据，并且将该显示图像数据提供给显示设备14。
显示设备14包括二维头戴式显示器、二维监视器、三维头戴式显示器、三维监视器等。显示设备14基于从转换单元33提供的显示图像数据二维地显示或三维地显示显示图像。
(转换单元21的配置的示例)
图2是示出图1的转换单元21的配置的示例的框图。
图2的转换单元21包括：图像拍摄对象位置确定单元51、摄像机确定单元52、二维数据生成单元53和遮挡确定单元54。
转换单元21的图像拍摄对象位置确定单元51确定与从图1的图像拍摄设备11提供的三维数据对应的三维对象的图像拍摄对象的中心的三维位置，并且将表示三维位置的图像拍摄对象位置信息提供给摄像机确定单元52。
摄像机确定单元52基于从图像拍摄对象位置确定单元51提供的图像拍摄对象位置信息来确定与预定显示图像生成方法对应的多个视点的摄像机参数，并且将摄像机参数提供给二维数据生成单元53和遮挡确定单元54。此外，摄像机确定单元52根据视点的摄像机参数等生成摄像机相关信息，并且将摄像机相关信息作为元数据提供给图1的编码单元22。
二维数据生成单元53基于从摄像机确定单元52提供的多个视点的摄像机参数，执行与针对每个视点的三维数据对应的三维对象的透视投影。
具体地，使用摄像机的内部参数A和外部参数R|t、通过以下表达式(1)来表示与像素的二维位置对应的矩阵m'和与世界坐标系的三维坐标对应的矩阵M之间的关系。
数学式1
sm’＝A[R|t]M…(1)
表达式(1)更具体地由表达式(2)表示。
数学式2
在表达式(2)中，(u，v)表示图像上的二维坐标，并且fx和fy表示焦距。同时，Cx和Cy表示主要点，r11至r13、r21至r23、r31至r33以及t1至t3表示参数，(X，Y，Z)表示世界坐标系的三维坐标。
因此，二维数据生成单元53根据上面给出的表达式(1)和(2)、使用摄像机参数来确定与每个像素的二维坐标对应的三维坐标。
此外，二维数据生成单元53针对每个视点将三维数据中的与像素的二维坐标对应的三维坐标的二维图像数据设置为像素的二维图像数据以生成将像素的图像数据和二维坐标相关联的二维图像数据。此外，二维数据生成单元53基于与像素的二维坐标对应的三维坐标，针对每个视点确定每个像素的深度，以生成将像素的深度与二维坐标相关联的深度图像数据。深度例如是图像拍摄对象的深度方向上的位置z的倒数1/z。二维数据生成单元53将每个视点的二维图像数据和深度图像数据提供给编码单元22。
遮挡确定单元54基于从摄像机确定单元52提供的摄像机参数来从由图像拍摄设备11提供的三维数据中提取遮挡三维数据，并且将提取的遮挡三维数据作为元数据提供给编码单元22。
(与预定显示图像生成方法对应的多个视点的示例)
图3是示出与预定显示图像生成方法对应的多个视点的示例的视图。
在图3的A的示例中，预定显示图像生成方法是预定视点显示图像生成方法(通过该预定视点显示图像生成方法，预定一个视点的显示图像被二维地显示)以及自由视点显示图像生成方法(通过该自由视点显示图像生成方法，作为任意一个视点的自由视点的显示图像被二维地显示)。在这种情况下，如图3的A所示，与预定显示图像生成方法对应的多个视点是在同一圆上等距离存在的多个(在图3的A的示例中，8个)视点71至78，并且视点71至78的方向是指向圆的中心的方向。
根据上文，解码设备13可以选择视点71至78中的一个的二维图像数据作为显示图像数据并将其提供给显示设备14，使得显示设备14可以二维地显示来自视点的显示图像。
另一方面，解码设备13可以通过基于视点71至78的二维图像数据和深度图像数据生成三维数据并且执行与三维数据对应的三维对象相对于自由视点的透视投影来生成自由视点的二维图像数据作为显示图像数据。因此，解码设备13可以通过将所生成的显示图像数据提供给显示设备14，使显示设备14二维地显示自由视点的显示图像。
在图3的B的示例中，预定显示图像生成方法是预定视点显示图像生成方法、自由视点显示图像生成方法、三维显示图像生成方法(通过该三维显示图像生成方法，显示图像被基于两个视点的二维图像数据三维地显示)以及内插视点显示图像生成方法(通过该内插视点显示图像生成方法，两个视点之间的视点的显示图像被二维地显示)。
在这种情况下，如图3的B所示，与预定显示图像生成方法对应的多个视点例如是在同一圆上等距离存在的多个(在图3的B的示例中，10个)视点81至90。视点88和视点89与视点87和视点88在基本水平方向上排成一行。视点87和视点89之间以及视点88和视点90之间在基本水平方向上的距离例如对应于左右人眼之间的距离。视点81至90的方向是指向布置有视点81至90的圆的中心的方向。
根据上文，与图3的A的情况一样，解码设备13可以使显示设备14二维地显示视点81至90中的一个的显示图像或者自由视点的显示图像。此外，解码设备13可以通过选择成对的视点87和视点89或成对的视点88和视点90的二维图像数据作为显示图像数据并且将所选择的显示图像数据提供给显示设备14来使显示设备14三维地显示视点87和视点89的或视点88和视点90的成对的显示图像。
此外，解码设备13可以基于成对的视点87和视点89或成对的视点88和视点90的二维图像数据和深度图像数据来内插成对的视点之间的视点的二维图像数据。因此，解码设备13可以通过将内插的二维图像数据作为显示图像数据提供给显示设备14，使显示设备14二维地显示成对的视点87与视点89之间或成对的视点88与视点90之间的视点的显示图像。
在图3的A和图3的B的示例的情况下，预定显示图像生成方法的数量是多个。因此，解码设备13可以基于与预定显示图像生成方法对应的多个视点的二维图像数据和深度图像数据，通过预定显示图像生成方法中的一种方法来生成显示图像数据。因此，可以说编码设备12可以生成具有可伸缩性的编码流。要注意的是，预定显示图像生成方法的数量可以是一个。
此外，在图像拍摄设备11的摄像机数量大于与预定显示图像生成方法对应的多个视点的情况下，摄像机确定单元52可以通过确定与预定显示图像生成方法对应的多个视点的摄像机参数来消除视点的冗余。
例如，在图像拍摄设备11的摄像机的视点是视点71至78的八个视点，但与多个显示图像生成方法对应的多个视点是视点71、视点73、视点75和视点77的四个视点的情况下，摄像机确定单元52确定四个视点的摄像机参数。因此，与视点71至78的所有二维图像数据和所有深度图像数据都被编码的替代情况相比，可以消除编码流中的视点的冗余。
与多个显示图像生成方法对应的多个视点的位置不限于图3的A或图3的B的示例中的那些，而是可以设置为任意位置。此外，可以将针对每个视点的摄像机参数设成例如与相对较小的视角对应的摄像机参数。在这种情况下，可以改善变焦时显示图像的分辨率。
此外，虽然在本说明书中，即使在预定显示图像生成方法的数量是多个的情况下，也生成与所有预定显示图像生成方法对应的多个视点的编码流，但是针对每个预定显示图像生成方法，可以生成相应多个视点的编码流。在这种情况下，解码设备13使用与其自身的显示图像生成方法对应的编码流来生成显示图像数据。
此外，摄像机确定单元52可以根据来自解码设备13的请求来确定与预定显示图像生成方法对应的多个视点。
(摄像机相关信息的示例)
图4是示出摄像机关联信息的示例的视图。
在图4的示例中，与预定显示图像生成方法对应的多个视点是图3的B的视点81至90。
如图4所示，摄像机相关信息包括与视点的摄像机ID相关联的外部参数R|T、内部参数A、isStereoFlag和每个视点的立体摄像机ID。
摄像机ID是对于视点唯一的ID。在图4的示例中，摄像机ID由从0开始到视点81至90的序号表示。此外，在图4中，摄像机ID为i的外部参数R|T和内部参数A分别由Ri|Ti和Ai表示。
isStereoFlag是表示在基本水平方向上是否存在排成一行的不同视点的标志，并且在基本水平方向上存在排成一行的不同视点的情况下，isStereoFlag被设置为1。在图4的示例中，由于不同的视点与视点87至90(其摄像机ID分别为6至9)中的每一个在基本水平方向上排成一行，所以与6至9的摄像机ID中的每一个相关联的isStereoFlag是1，如图4所示。
立体摄像机ID是在基本水平方向上排成一行的不同视点的摄像机ID，并且是指定在基本水平方向上排成一行的两个视点的配对信息。在图4的示例中，由于相对于摄像机ID是6的视点87在基本水平方向上排成一行的不同视点89的摄像机ID是8，所以与为6的摄像机ID相关联的立体摄像机ID是8。
类似地，由于相对于摄像机ID是7的视点88在基本水平方向上排成一行的不同视点90的摄像机ID是9，所以与为7的摄像机ID相关联的立体摄像机ID是9。此外，与为8的摄像机ID相关联的立体摄像机ID是6，并且与为9的摄像机ID相关联的立体摄像机ID是7。
(图像拍摄设备和编码设备的处理的描述)
图5是示出图1的图像拍摄设备11和编码设备12的编码处理的流程图。
在图5的步骤S11中，图像拍摄设备11通过多摄像机拍摄运动图像的二维图像数据，并且通过距离测量仪器生成深度图像数据。在步骤S12中，图像拍摄设备11使用二维图像数据和深度图像数据来生成三维数据，并且将该三维数据提供给编码设备12。
在步骤S13中，编码设备12的图像拍摄对象位置确定单元51(图2)确定与从图像拍摄设备11提供的三维数据对应的三维对象的图像拍摄对象的中心的三维位置，并且将表示三维位置的图像拍摄对象位置信息提供给摄像机确定单元52。
在步骤S14中，摄像机确定单元52基于从图像拍摄对象位置确定单元51提供的图像拍摄对象位置信息来确定与预定显示图像生成方法对应的多个视点的摄像机参数，并且将摄像机参数提供给二维数据生成单元53和遮挡确定单元54。此外，摄像机确定单元52根据摄像机参数等生成图4的摄像机相关信息，并且将摄像机相关信息作为元数据提供给图1的编码单元22。
在步骤S15中，二维数据生成单元53基于从摄像机确定单元52提供的多个视点的摄像机参数，执行与针对每个视点的三维数据对应的三维对象的透视投影，以确定与每个像素的二维坐标对应的三维坐标。
在步骤S16中，二维数据生成单元53针对每个视点将来自三维数据内的每个像素的三维坐标的二维图像数据转换为像素的二维图像数据以生成二维图像数据。此外，二维数据生成单元53基于像素的三维坐标、针对每个视点确定每个像素的深度以生成深度图像数据。二维数据生成单元53将视点的二维图像数据和深度图像数据提供给编码单元22。
在步骤S17中，遮挡确定单元54基于从摄像机确定单元52提供的摄像机参数，从由图像拍摄设备11提供的三维数据中提取遮挡三维数据，并且将遮挡三维数据作为元数据提供给编码单元22。
在步骤S18中，编码单元22对从转换单元21提供的二维图像数据、深度图像数据和元数据进行编码，并且将作为编码结果获得的编码流提供给发送单元23。
在步骤S19中，发送单元23将从编码单元22提供的编码流发送至解码设备13。然后，处理结束。
(转换单元33的第一配置示例)
图6是示出图1的转换单元33的第一配置示例的框图。
图6的转换单元33是在图1的解码设备13的显示图像生成方法是预定视点显示图像生成方法的情况下的转换单元33，并且包括选择单元111和显示控制单元112。
转换单元33的选择单元111基于从图1的解码单元32提供的摄像机相关信息来识别期望的一个视点的摄像机ID。选择单元111从由解码单元32提供的二维图像数据、深度图像数据和遮挡三维数据中选择与所识别的摄像机ID对应的一个视点的二维图像数据。选择单元111将所选择的一个视点的二维图像数据提供给显示控制单元112。
显示控制单元112将从选择单元111提供的一个视点的二维图像数据作为显示图像数据提供给显示设备14，使得显示图像被二维地显示在显示设备14上。
要注意的是，虽然未示出，但是除了选择单元111基于摄像机相关信息选择在基本水平方向上排成一行的两个视点的二维图像数据之外，在解码设备13的显示图像生成方法是三维显示图像生成方法的情况下的转换单元33的配置与图6的配置相同。
具体地，在这种情况下，选择单元111选择摄像机相关信息中isStereoFlag为1的摄像机ID的视点和与摄像机ID对应的立体摄像机ID的另一视点的二维图像数据。因此，将两个所选择的视点的二维图像数据作为显示图像数据提供给显示设备14。显示设备14基于显示图像数据之间的一个视点的二维图像数据来显示用于左眼的显示图像，并且基于另一个视点的二维图像数据来显示用于右眼的显示图像，从而三维地显示显示图像。
(转换单元33的第二配置示例)
图7是示出图1的转换单元33的第二配置示例的框图。
图7的转换单元33是在解码设备13的显示图像生成方法是内插视点显示图像生成方法的情况下的转换单元33，并且包括选择单元131、内插单元132和显示控制单元133。
转换单元33的选择单元131基于从图1的解码单元32提供的摄像机相关信息，识别与为1的isStereoFlag对应的摄像机ID中的一个摄像机ID以及与该一个摄像机ID对应的立体摄像机ID。选择单元131从由解码单元32提供的二维图像数据、深度图像数据和遮挡三维图像数据中选择与两个所识别的摄像机ID对应的两个视点的二维图像数据和深度图像数据，并且将所选择的数据提供给内插单元132。
内插单元132基于从选择单元131提供的两个视点的二维图像数据和深度图像数据来内插在两个视点之间的位置处的视点的二维图像数据。这样的内插技术被称为基于深度图像渲染法(Depth Image Based Rendering)，并且例如在国际公开号WO2014083752的小册子中进行了描述。内插单元132将内插的一个视点的二维图像数据提供给显示控制单元133。
显示控制单元133将从内插单元132提供的一个视点的二维图像数据作为显示图像数据提供给显示设备14，使得显示图像被二维地显示在显示设备14上。
(转换单元33的第三配置示例)
图8是示出图1的转换单元33的第三配置示例的框图。
图8的转换单元33是在解码设备13的显示图像生成方法是自由视点显示图像生成方法的情况下的转换单元33。图8的转换单元33包括：三维数据生成单元151、图像拍摄对象位置确定单元152、摄像机位置确定单元153、二维数据生成单元154和显示控制单元155。
转换单元33的三维数据生成单元151使用包括在从解码单元32提供的摄像机相关信息中的二维图像数据、深度图像数据和摄像机参数来生成图像拍摄对象的三维数据，这类似于图像拍摄设备11。三维数据生成单元151使用从解码单元32提供的遮挡三维数据来修改所生成的三维数据。因此，可以生成图像拍摄对象的包括遮挡区域的整个区域的三维数据，其仅根据二维图像数据和深度图像数据则不能生成。三维数据生成单元151将修改的三维数据提供给图像拍摄对象位置确定单元152和二维数据生成单元154。
图像拍摄对象位置确定单元152从与从三维数据生成单元151提供的三维数据对应的三维对象内确定图像拍摄对象的中心的三维位置，并且将表示三维位置的图像拍摄对象位置信息提供给摄像机位置确定单元153。
摄像机位置确定单元153基于从图像拍摄对象位置确定单元152提供的图像拍摄对象位置信息来确定自由视点的摄像机参数，并且将摄像机参数提供给二维数据生成单元154。
二维数据生成单元154基于从三维数据生成单元151提供的三维数据和从摄像机位置确定单元153提供的自由视点的摄像机参数，根据自由视点显示图像生成方法来生成二维图像数据作为显示图像数据。
具体地，二维数据生成单元154基于自由视点的摄像机参数，执行与三维数据对应的三维对象的透视投影，以确定与每个像素的二维坐标对应的三维坐标，这类似于图2的二维数据生成单元53。然后，二维数据生成单元154从三维数据内生成与每个像素的二维坐标对应的三维坐标的二维图像数据作为该像素的显示图像数据。
此外，二维数据生成单元154基于与像素的二维坐标对应的三维坐标来确定每个像素的深度以生成深度图像数据。二维数据生成单元154将显示图像数据和深度图像数据提供给显示控制单元155。
显示控制单元155将从二维数据生成单元154提供的显示图像数据和深度图像数据提供给显示设备14。显示设备14例如使用显示图像数据和深度图像数据作为点云来二维地显示显示图像。
如上所述，图8的转换单元33根据多个视点的二维图像数据和深度图像数据生成三维数据，并且基于新确定的自由视点的摄像机参数、根据所生成的三维数据生成二维图像数据和深度图像数据。因此，转换单元33可以改变变焦比或改变从编码设备12向其发送的多个视点的二维图像数据和深度图像数据的视点。
(解码设备的处理的描述)
图9是示出在图1的转换单元33的配置是图8的配置的情况下的解码设备13的解码处理的流程图。该解码处理例如在从编码设备12向解码设备13发送编码流时开始。
在图9的步骤S31中，解码设备13的接收单元31接收从发送单元23发送的编码流，并且将编码流提供给解码单元32。
在步骤S32中，解码单元32对从接收单元31提供的编码流进行解码。解码单元32将作为解码结果获得的多个视点的二维图像数据和深度图像数据以及元数据提供给转换单元33。
在步骤S33中，转换单元33的三维数据生成单元151(图8)使用从解码单元32提供的二维图像数据和深度图像数据以及包括在元数据中的摄像机参数来生成图像拍摄对象的三维数据，这类似于图像拍摄设备11。
在步骤S34中，三维数据生成单元151使用包括在从解码单元32提供的元数据中的遮挡三维数据来修改在步骤S33中生成的三维数据。三维数据生成单元151将修改的三维数据提供给图像拍摄对象位置确定单元152。
在步骤S35中，图像拍摄对象位置确定单元152确定与从三维数据生成单元151提供的三维数据对应的三维对象的图像拍摄对象的中心的三维位置，并且将表示三维位置的图像拍摄对象位置信息提供给摄像机位置确定单元153。
在步骤S36中，摄像机位置确定单元153基于从图像拍摄对象位置确定单元152提供的图像拍摄对象位置信息来确定自由视点的摄像机参数，并且将摄像机参数提供给二维数据生成单元154。
在步骤S37中，二维数据生成单元154基于自由视点的三维数据和摄像机参数，根据自由视点显示图像生成方法来生成二维图像数据作为显示图像数据。
在步骤S38中，二维数据生成单元154基于与像素的二维坐标对应的三维坐标来确定每个像素的深度以生成深度图像数据。二维数据生成单元154将显示图像数据和深度图像数据提供给显示控制单元155。
在步骤S39中，显示控制单元155将从二维数据生成单元154提供的显示图像数据和深度图像数据提供给显示设备14。
以这种方式，在发送系统10中，图像拍摄设备11根据多个视点的拍摄的二维图像数据生成三维数据，并且编码设备12根据三维数据来生成并编码与预定显示图像生成方法对应的多个视点的二维图像数据和深度图像数据。因此，编码设备12可以对与预定显示图像生成方法对应的视点的二维图像数据和深度图像数据进行编码，使得可以通过解码设备13来获取二维图像数据和深度图像数据，而无需依赖于成像时的视点。
此外，解码设备13接收并解码从编码设备12向其发送的与预定显示图像生成方法对应的多个视点的二维图像数据和深度图像数据的编码流。因此，解码设备13可以获取与预定显示图像生成方法对应的视点的二维图像数据和深度图像数据，而无需依赖于成像时的视点。
此外，在预定显示图像生成方法的数量是多个的情况下，可以通过多个显示图像生成方法的解码设备来再现由编码设备12生成的编码流。例如，显示图像生成方法是预定视点显示图像生成方法的低功能的解码设备和显示图像生成方法是自由视点图像生成方法的高功能的另一解码设备二者都可以根据自身设备的能力来执行编码流的再现。
<第二实施例>
(发送系统的第二实施例的配置的示例)
图10是示出应用本公开的发送系统的第二实施例的配置的示例的框图。
在图10所示的部件中，用相同的附图标记表示与图1中的部件相同的部件。重叠的描述被适当地省略。
图10的发送系统170的配置与图1的发送系统10的配置的不同之处在于：图像拍摄设备11、编码设备12和解码设备13被图像拍摄设备171、编码设备172和解码设备173替代。在发送系统170中，由图像拍摄设备171获取的二维图像数据和深度图像数据被原样编码并发送。
具体地，发送系统170的图像拍摄设备171包括多摄像机181和图像处理单元182。构成图像拍摄设备171的多摄像机181的多个摄像机分别拍摄二维图像数据。多摄像机181将由摄像机拍摄的二维图像数据提供给图像处理单元182。
图像处理单元182将构成多摄像机181的多个摄像机中的一个摄像机设置为基准摄像机，并且将其他摄像机设置为参考摄像机。图像处理单元182基于由多摄像机181的基准摄像机拍摄的二维图像数据和由参考摄像机拍摄的二维图像数据来检测每个参考摄像机相对于基准摄像机的二维图像数据的同步偏差。此外，图像处理单元182将基准摄像机的同步偏差检测为0。图像处理单元182将包括表示所检测的摄像机的视点的同步偏差的信息的同步偏差信息和摄像机相关信息提供给编码设备172。
此外，图像处理单元182对由摄像机拍摄的二维图像数据执行立体匹配以生成摄像机的深度图像数据，并且将深度图像数据提供给编码设备172。
编码设备172将从图像拍摄设备171提供的同步偏差信息和摄像机相关信息确定为元数据。编码设备172对从图像拍摄设备171提供的摄像机的二维图像数据和深度图像数据以及元数据进行编码，以生成编码流，这类似于图1的编码单元22。编码设备172(发送单元)将生成的编码流发送至解码设备173。
解码设备173的配置与图1的解码设备13的配置的不同之处在于：解码单元32和转换单元33分别被解码单元191和转换单元192替代。
解码设备173的解码单元191根据与编码设备172的编码方法对应的方法来对从接收单元31提供的编码流进行解码。解码单元191基于来自作为解码结果获得的元数据内的同步偏差信息将基准摄像机和参考摄像机的二维图像数据和深度图像数据彼此同步，并且将同步的数据提供给转换单元192。此外，解码单元191将来自元数据内的摄像机相关信息提供给转换单元192。
除了不使用遮挡三维数据校正三维数据之外，转换单元192的配置与图1的转换单元33的配置相同，因此省略其描述。
(图像拍摄设备的配置的示例)
图11是示出图10的图像拍摄设备171的配置的示例的框图。
图11的图像拍摄设备171的多摄像机181包括N(N是复数)个摄像机211-1至211-N。
摄像机211-1至211-N被布置成使得例如摄像机211-1至211-N的视点变成与预定显示图像生成方法对应的视点。摄像机211-1至211-N分别执行图像拍摄并且将作为图像拍摄结果获得的运动图像的二维图像数据(拍摄图像数据)提供给图像处理单元182。在以下描述中，在不需要特别将摄像机211-1至211-N彼此区分开的情况下，它们被统称为摄像机211。
图像处理单元182包括校准单元221、同步偏差检测单元222和深度生成单元223。
图像处理单元182的校准单元221针对每个摄像机211、使用摄像机参数对从多摄像机181提供的二维图像数据执行校准。校准单元221将校准之后的每个摄像机211的二维图像数据提供给同步偏差检测单元222。此外，校准单元221将摄像机相关信息提供给图10的编码设备172。
同步偏差检测单元222将摄像机211-1至211-N中的一个摄像机确定为基准摄像机，并且将摄像机211-1至211-N中的其余摄像机确定为参考摄像机。同步偏差检测单元222基于从校准单元221提供的基准摄像机的二维图像数据和参考摄像机的二维图像数据，以毫秒级别检测每个参考摄像机相对于基准摄像机的二维图像数据的同步偏差。
具体地，同步偏差检测单元222根据基准摄像机的二维图像数据和参考摄像机的二维图像数据来检测闪光。同步偏差检测单元222检测基准摄像机的二维图像数据与检测到闪光的每个参考摄像机的二维图像数据之间的图像拍摄时间的差作为参考摄像机的二维图像数据的同步偏差。
可以通过与检测闪光的方法不同的方法、使用二维图像数据来执行每个参考摄像机的二维图像数据的同步偏差。此外，在摄像机211与二维图像数据一起获取音频数据的情况下，可以通过检测参考摄像机相对于基准摄像机的音频数据的同步偏差来检测参考摄像机的二维图像数据的同步偏差。
同步偏差检测单元222将基准摄像机的二维图像数据的同步偏差检测为0。同步偏差检测单元222将检测到的同步偏差的同步偏差信息提供给编码设备172。此外，同步偏差检测单元222将从校准单元221提供的每个摄像机211的二维图像数据提供给深度生成单元223。
深度生成单元223对从同步偏差检测单元222提供的每个摄像机211的二维图像数据执行立体匹配以生成摄像机211的深度图像数据。深度生成单元223将摄像机211的二维图像数据和深度图像数据提供给编码设备172。
(同步偏差信息的示例)
图12是示出同步偏差信息的示例的视图。
在图12的示例中，摄像机211的视点是图3的B的视点81至90。
如图12所示，通过将每个摄像机211的num_units_in_tick、time_scale、Delta_num_units_in_tick和Delta_time_scale与摄像机211的视点的摄像机ID相关联来配置同步偏差信息。
num_units_in_tick是指示与帧距离对应的time_units的数量的信息，time_unit由time_scale限定。time_scale是一秒内time_units的数量。因此，帧速率可以由num_units_in_tick和time_scale表示。
在图12的示例中，摄像机ID为0、1、4和5的摄像机211的帧速率为60Hz(59.94Hz)。因此，例如，在摄像机ID为0、1、4和5的摄像机211中，num_units_in_tick是1001并且time_scale是60000。同时，摄像机ID为2、3和6至9的摄像机211的帧速率是30Hz(29.97Hz)。因此，例如，在摄像机ID为2、3和6至9的摄像机211中，num_units_in_tick是2002并且time_scale是60000。
Delta_num_units_in_tick是指示与同步偏差对应的time_units的数量的信息，time_unit由Delta_time_scale限定。Delta_time_scale是一秒内time_units的数量。因此，同步偏差可以由Delta_num_units_in_tick和Delta_time_scale表示。
在图12的示例中，摄像机ID为0的摄像机211是基准摄像机。因此，与0的摄像机ID对应的Delta_num_units_in_tick是0。此外，在图12的示例中，摄像机ID为3、4、7和9的摄像机211的同步偏差为0。因此，与3、4、7和9是摄像机ID对应的Delta_num_units_in_tick也为0。
此外，在图12的示例中，摄像机ID为1和5的摄像机211的同步偏差为1/30(1/29.97)秒。因此，例如，与1和5的摄像机ID对应的Delta_num_units_in_tick是2002并且Delta_time_scale是60000。此外，摄像机ID为2、6和8的摄像机211的同步偏差是1/15(1/14.985)秒。因此，例如，与2、6和8的摄像机ID对应的Delta_num_units_in_tick是4004并且Delta_time_scale是60000。
要注意的是，同步偏差信息可以包括同步偏差公共标志，其指示所有出现同步偏差的摄像机211的同步偏差是否相等。
在这种情况下，当所有出现同步偏差的摄像机211的同步偏差相等时，同步偏差信息包括指示所有出现同步偏差的摄像机211的同步偏差相等的同步偏差公共标志、指示每个摄像机211中的同步偏差的存在/不存在的同步偏差标志(同步偏差存在/不存在信息)、以及表示所有出现同步偏差的摄像机211共同的同步偏差的信息。
另一方面，当所有出现同步偏差的摄像机211的同步偏差不相等时，同步偏差信息包括图12的同步偏差信息以及指示所有出现同步偏差的摄像机211的同步偏差不相等的同步偏差公共标志。
(编码设备的配置的示例)
图13是示出图10的编码设备172的配置的示例的框图。
图13的编码设备172是在通过AVC方法或HEVC方法执行编码的情况下的编码设备172，并且包括2N个编码单元241-1至241-2N和发送单元242。
编码设备172的编码单元241-1至241-2N根据AVC方法或HEVC方法分别对从图像拍摄设备171提供的摄像机211的二维图像数据或深度图像数据进行编码以分别生成编码流。
编码单元241-1至241-2N将从图像拍摄设备171提供的摄像机相关信息和同步偏差信息以及将摄像机相关信息和同步偏差信息与编码流相关联的信息设置为元数据。编码单元241-1至241-2N将元数据放入所生成的编码流的用户未注册的SEI中。
要注意的是，编码单元241-1至241-N可以仅将与编码流对应的元数据放入编码流的用户未注册的SEI中。在这种情况下，将摄像机相关信息和同步偏差信息与编码流相关联的信息不包括在元数据中。编码单元241-1至241-2N将其中放置有元数据的编码流提供给发送单元242。
发送单元242将从编码单元241-1至241-2N提供的编码流发送至图10的解码设备173。
(图像拍摄设备和编码设备的处理的描述)
图14是示出图10的图像拍摄设备171和编码设备172的编码处理的流程图。
在图14的步骤S51中，图像拍摄设备171的摄像机211(图11)执行图像拍摄并且将作为图像拍摄结果获得的运动图像的二维图像数据提供给图像处理单元182。
在步骤S52中，图像处理单元182的校准单元221针对每个摄像机211、使用摄像机参数对从多摄像机181提供的二维图像数据执行校准。校准单元221将校准之后的每个摄像机211的二维图像数据提供给同步偏差检测单元222。
在步骤S53中，校准单元221将摄像机相关信息作为元数据提供给编码设备172。
在步骤S54中，同步偏差检测单元222针对每个参考摄像机、基于从校准单元221提供的基准摄像机和参考摄像机的二维图像数据来检测参考摄像机相对于基准摄像机的二维图像数据的同步偏差。此外，同步偏差检测单元222将基准摄像机的二维图像数据的同步偏差检测为0。
在步骤S55中，同步偏差检测单元222将检测到的同步偏差的同步偏差信息作为元数据提供给编码设备172。此外，同步偏差检测单元222将从校准单元221提供的摄像机211的二维图像数据提供给深度生成单元223。
在步骤S56中，深度生成单元223对从同步偏差检测单元222提供的各个摄像机211的二维图像数据执行立体匹配，以生成针对每个摄像机211的深度图像数据。
在步骤S57中，深度生成单元223将摄像机211的二维图像数据和深度图像数据提供给编码设备172。
在步骤S58中，编码设备172对从图像拍摄设备171提供给它的摄像机211的二维图像数据和深度图像数据以及元数据进行编码，以生成编码流。
在步骤S59中，编码设备172将所生成的编码流发送至解码设备173。然后，处理结束。
(解码单元的配置的示例)
图15是示出图10的解码单元191的配置的示例的框图。
在图15的示例中，编码设备172的配置是图13的配置，并且从编码设备172发送的编码流的编码方法是AVC方法或HEVC方法。图15的解码单元191包括2N个解码处理单元261-1至261-2N和输出单元262。
解码单元191的解码处理单元261-1至261-2N根据与AVC方法或HEVC方法对应的方法，分别对从接收单元31提供的摄像机211的二维图像数据和深度图像数据的编码流进行解码。解码处理单元261-1至261-2N将作为解码结果获得的摄像机211的二维图像数据或深度图像数据以及构成元数据的摄像机相关信息和同步偏差信息提供给输出单元262。
输出单元262(同步处理单元)针对每个参考摄像机、基于从解码处理单元261-1至261-2N提供的同步偏差信息将彼此处于同步关系的基准摄像机和参考摄像机的二维图像数据和深度图像数据提供给图10的转换单元192。
例如，在包括在同步偏差信息中的参考摄像机的num_units_in_tick是1001并且Delta_num_units_in_tick是2002并且此外time_scale和Delta_time_scale是60000的情况下，输出单元262通过将参考摄像机的二维图像数据和深度图像数据延迟两个帧而提供给转换单元192。此外，输出单元262将从解码处理单元261-1至261-2N提供的摄像机相关信息提供给转换单元192。
由于通过以上所述将要提供给转换单元192的摄像机211的二维图像数据和深度图像数据彼此同步，所以改善了转换单元192的三维数据的生成精度。
(解码设备的处理的描述)
图16是示出如下情况下的解码设备173的解码处理的流程图：除了不使用遮挡三维数据校正三维数据之外，图10的转换单元192的配置与图8的配置相同。该解码处理例如在从编码设备172向解码设备173发送编码流时开始。
在图16的步骤S71中，解码设备173的接收单元31接收从编码设备172发送的编码流，并且将编码流提供给解码单元191。
在步骤S72中，解码单元191通过与编码设备172的编码方法对应的方法来对从接收单元31提供的编码流进行解码。
在步骤S73中，解码单元191针对每个参考摄像机、基于作为解码结果获得的元数据内的同步偏差信息，将彼此处于同步关系的基准摄像机和参考摄像机的二维图像数据和深度图像数据提供给转换单元192。此外，输出单元262将来自元数据内的摄像机相关信息提供给转换单元192。
在步骤S74中，转换单元192使用从解码单元191提供的二维图像数据和深度图像数据以及包括在摄像机相关信息中的摄像机参数来生成图像拍摄对象的三维数据，这类似于图像拍摄设备11中的那样。
步骤S75至S79中的处理分别与图9的步骤S35至S39中的处理类似，因此省略其说明。
如上所述，由于在发送系统170中，由摄像机211获取的二维图像数据和深度图像数据被原样编码和发送，所以摄像机211的二维图像数据和深度图像数据的同步在某些情况下可能不可用。
然而，在发送系统170中，图像拍摄设备171检测摄像机的二维图像数据的同步偏差，并且编码设备172将检测到的同步偏差的同步偏差信息与二维图像数据和深度图像数据一起发送。因此，解码设备173可以基于同步偏差信息使摄像机211的二维图像数据和深度图像数据彼此同步。因此，解码设备173可以使用彼此同步的N个摄像机211的二维图像数据和深度图像数据来生成具有高精度的三维数据。
<第三实施例>
(发送系统的第三实施例的配置的示例)
图17是示出应用本公开的发送系统的第三实施例的配置的示例的框图。
在图17所示的部件中，用相同的附图标记表示与图1的部件相同的部件。重叠的描述被适当地省略。
图17的发送系统280的配置与图1的发送系统10的配置的不同之处在于：新设置了图像拍摄设备281、编码设备282和合成设备283，解码设备13被解码设备284替代，并且由编码设备12生成的二维图像数据和深度图像数据的视点是与预定显示图像生成方法对应的多个视点的一部分。
在发送系统280中，由编码设备12生成与预定显示图像生成方法对应的多个视点中的一些视点的编码流(在下文中称为第一视点组)，而由编码设备282生成其他视点的编码流(在下文中称为第二视点组)，并且两个编码流被合成(合并)。
具体地，发送系统280的图像拍摄设备281被配置成与图1的图像拍摄设备11类似并且其至少一部分拍摄与图像拍摄设备11的图像拍摄对象相同的图像拍摄对象的图像，并且将图像拍摄对象的三维数据提供给编码设备282。
编码设备282包括类似于转换单元21配置的转换单元291、类似于编码单元22配置的编码单元292和类似于发送单元23配置的发送单元293。编码设备282根据三维数据生成第二视点组的二维图像数据和深度图像数据，并且将所生成的数据编码并发送至合成设备283。
合成设备283接收从编码设备12向其发送的第一视点组的编码流(在下文中称为第一部分编码流)以及从编码设备282发送的第二视点组的编码流(在下文中称为第二部分编码流)。合成设备283检测第二部分编码流相对于第一部分编码流的同步偏差，并且生成表示第二编码流的同步偏差的视点组同步偏差信息。
视点组同步偏差信息包括例如表示第二视点组的帧速率的num_units_in_tick和time_scale以及表示同步偏差的Delta_um_units_in_tick和Delta_time_scale。
合成设备283将视点组同步偏差信息放入第二部分编码流的元数据中。合成设备283合成其中放置有视点组同步偏差信息的第二部分编码流和第一部分编码流，以生成与预定显示图像生成方法对应的多个视点的编码流，并且将编码流发送至解码设备284。
解码设备284的配置与图1的解码设备13的配置的不同之处在于：解码单元32被解码单元301替代。除了同步偏差信息被视点组同步偏差信息替代以及来自元数据内的遮挡三维数据与摄像机相关信息一起被提供给转换单元33之外，解码设备284的解码单元301与图10的解码单元191类似，因此省略解码单元301的描述。
(合成设备的配置的示例)
图18是示出图17的合成设备283的配置的示例的框图。
图18的合成设备283包括解码单元321、另一解码单元322、同步偏差检测单元323和元数据添加单元324。
合成设备283的解码单元321接收从编码设备12发送的第一部分编码流。解码单元321根据与编码单元22的编码方法(在图18的示例中，MVCD)对应的方法对接收到的第一部分编码流进行解码以生成第一视点组的二维图像数据和深度图像数据以及元数据。解码单元321将来自所生成的第一视点组内的一个视点的二维图像数据提供给同步偏差检测单元323。
解码单元322接收从编码设备282向其发送的第二部分编码流。解码单元322根据与编码单元292的编码方法(在图18的示例中，MVCD)对应的方法对接收到的第二部分编码流进行解码，以生成第二视点组的二维图像数据和深度图像数据以及元数据。解码单元322将来自所生成的第二视点组内的一个视点的二维图像数据提供给同步偏差检测单元323。
同步偏差检测单元323基于从解码单元321和解码单元322提供的二维图像数据来检测第二视点组相对于第一视点组的二维图像数据的同步偏差。
同步偏差的检测方法可以与第二实施例中的同步偏差的检测方法相同或不同。
此外，为了检测同步偏差，不仅可以使用二维图像数据，而且可以使用摄像机参数和深度图像数据。在这种情况下，例如，同步偏差检测单元323基于包括在摄像机相关信息中的摄像机参数将第一视点组内的一个视点和第二视点组内的一个视点的每个时间点处的二维图像数据的特征点的二维位置转换为三维位置。当两个视点的特征点的三维位置之间的差最小时，同步偏差检测单元323检测二维图像数据的时间点之间的差作为第二视点组相对于第一视点组的二维图像数据的同步偏差。
同步偏差检测单元323将表示检测到的同步偏差的视点组同步偏差信息提供给元数据添加单元324。
元数据添加单元324将从同步偏差检测单元323提供的视点组同步偏差信息作为元数据放入从编码设备282向其发送的第二部分编码流中。元数据添加单元324合成第二部分编码流(其中视点组同步偏差信息被替换为元数据)和从编码设备12发送的第一部分编码流。元数据添加单元324(发送单元)将作为合成结果获得的与预定显示图像生成方法对应的多个视点的编码流发送至解码设备284。
(合成设备的处理的描述)
由于图17的图像拍摄设备11和编码设备12以及图像拍摄设备281和编码设备282的编码处理与图5的编码处理类似，因此省略其描述。
图19是示出图18的合成设备283的合成处理的流程图。
在图19的步骤S91中，合成设备283的解码单元321根据与编码单元22的编码方法对应的方法，对从编码设备12发送的第一部分编码流进行解码。解码单元321将作为解码结果获得的第一视点组内的一个视点的二维图像数据提供给同步偏差检测单元323。
在步骤S92中，解码单元322根据与编码单元292的编码方法对应的方法，对从编码设备282发送的第二部分编码流进行解码。解码单元322将作为解码结果获得的第二视点组内的一个视点的二维图像数据提供给同步偏差检测单元323。
在步骤S93中，同步偏差检测单元323基于从解码单元321和解码单元322提供的二维图像数据，检测第二视点组相对于第一视点组的二维图像数据的同步偏差。同步偏差检测单元323将表示检测到的同步偏差的视点组同步偏差信息提供给元数据添加单元324。
在步骤S94中，元数据添加单元324将从同步偏差检测单元323提供的视点组同步偏差信息作为元数据放入从编码设备282发送的第二部分编码流中。
在步骤S95中，元数据添加单元324合成从编码设备12发送的第一部分编码流和包括视点组同步偏差信息的第二部分编码流。元数据添加单元324将作为合成结果获得的与预定显示图像生成方法对应的多个视点的编码流提供给解码设备284，然后处理结束。
解码设备284的解码处理与图16的解码处理类似，不同之处在于同步偏差信息被视点组同步偏差信息替代，并且还通过步骤S72中的处理生成遮挡三维数据，并且在步骤S74中的处理之后，使用遮挡三维数据来修改三维数据(这与图9的步骤S34类似)。
如上所述，在发送系统280中，合成由编码设备12生成的第一部分编码流和由编码设备282生成的第二部分编码流并且将其发送至解码设备284。因此，作为合成结果获得的与预定显示图像生成方法对应的第一视点组和第二视点组的编码流之间的合成在某些情况下可能不可用。
然而，在发送系统280中，合成设备283对第一部分编码流和第二部分编码流进行一次解码，并且检测作为解码结果获得的第一视点组和第二视点组的二维图像数据之间的同步偏差。然后，合成设备283将表示检测到的同步偏差的视点组同步偏差信息与第一部分编码流和第二部分编码流一起发送。因此，解码设备284可以基于视点组同步偏差信息来将第一视点组和第二视点组的二维图像数据和深度图像数据彼此合成。因此，解码设备284可以使用处于彼此同步状态的第一视点组和第二视点组的二维图像数据和深度图像数据来生成具有高精度的三维数据。
<第四实施例>
(发送系统的第四实施例中的合成设备的配置的示例)
除了合成设备283被合成设备340替代并且解码设备284的转换单元33被转换单元380替代以及视点组同步偏差信息被坐标变换信息替代之外，应用本公开的发送系统的第四实施例的配置与图17的发送系统280的配置相同。因此，下面仅描述合成设备340和转换单元380。
图20是示出合成设备340的配置的示例的框图。
在图20所示的部件中，用相同的附图标记表示与图18的部件相同的部件。重叠的描述被适当地省略。
图20的合成设备340的配置与图18的合成设备283的配置的不同之处在于：同步偏差检测单元323和元数据添加单元324分别被坐标变换数据生成单元341和元数据添加单元342替代。合成设备340不检测不同视点的二维图像数据的同步偏差，而是生成坐标变换数据，该坐标变换数据用于将作为第一视点组的三维坐标系的第一三维坐标系变换为作为第二视点组的三维坐标系的第二三维坐标系。
具体地，合成设备340的坐标变换数据生成单元341基于通过解码单元322解码而生成的第一视点组的二维图像数据，确定第一视点组的每个视点的特征点的二维位置。
此外，坐标变换数据生成单元341基于包括在通过解码单元321解码而生成的第二视点组的摄像机相关信息中的摄像机参数、二维图像数据和深度图像数据，根据上文给出的表达式(1)确定第二三维坐标系中的特征点的三维位置。
坐标变换数据生成单元341针对第一视点组的每个视点，基于特征点的第二三维坐标系中的二维位置和三维位置来生成坐标变换数据。坐标变换数据生成单元341将包括第一视点组的视点的坐标变换数据的坐标变换信息提供给元数据添加单元342。
元数据添加单元342将从坐标变换数据生成单元341提供的坐标变换信息作为元数据放入从编码设备12向其发送的第一部分编码流中。此外，元数据添加单元342合成放置有作为元数据的坐标变换信息的第一部分编码流和从编码设备282向其发送的第二部分编码流。元数据添加单元342(发送单元)将作为合成结果获得的与预定显示图像生成方法对应的多个视点的编码流发送至解码设备284。
(坐标变换数据的生成处理的描述)
图21是示出图20的坐标变换数据生成单元341生成坐标变换数据的处理的视图。
在图21的示例中，第一三维坐标系是包括彼此垂直交叉的轴xA至zA作为坐标轴的坐标系，并且第二三维坐标系是包括彼此垂直交叉的轴xB至zB作为坐标轴的坐标系，并且不同于第一三维坐标系。
在第一三维坐标系中的三维位置为P1的特征点在由第一视点组中的一个视点的虚拟摄像机361拍摄的图像上的二维位置PA由以下表达式(3)表示。
数学式3
RcamA|tcamA是第一部分编码流的元数据内的第一三维坐标系中的虚拟摄像机361的摄像机参数。
同时，在第一三维坐标系中的三维位置为P1并且在第二三维坐标系中的三维位置为P1'的特征点在由虚拟摄像机361拍摄的图像上的二维位置PB由以下表达式(4)表示。
数学式4
RcamB|tcamB是第二三维坐标系中的虚拟摄像机361的摄像机参数。
通过变换表达式(4)，三维位置P1'由以下表达式(5)表示。
数学式5
由于二维位置PA和二维位置PB相同，所以通过将表达式(3)的右侧代入上面给出的表达式(5)的二维位置PB，获得以下表达式(6)。
数学式6
表达式(6)是用于将第一三维坐标系中的三维位置P1变换为第二三维坐标系中的三维位置P1'的表达式。因此，坐标变换数据生成单元341将表达式(6)中的由与摄像机的外部参数相同的表示方法表示的Rcon|tcon确定为坐标变换数据。
具体地，坐标变换数据生成单元341基于第二视点组的摄像机参数、二维图像数据和深度图像数据，根据上文给出的表达式(1)确定特征点在第二三维坐标系中的三维位置。此外，坐标变换数据生成单元341基于第一视点组的二维图像数据确定第一视点组的每个视点的特征点的二维位置。
然后，坐标变换数据生成单元341针对第一视点组的每个视点将第二三维坐标系中的特征点的三维位置替换为P1'，并且根据其中二维位置被替换为PA的表达式(4)确定第二三维坐标系中的虚拟摄像机361的外部参数RcamB|tcamB。
上述处理被称为在线校准。例如在Zhengyou Zhang,“A Flexible New Techniquefor Camera Calibration,”Technical Report MSR-TR-98-71,Microsoft Corporation,December 2,1998等中描述了在线校准的细节。
坐标变换数据生成单元341使用外部参数RcamB|tcamB和外部参数RcamB|tcamB，根据上文给出的表达式(6)针对第一视点组的每个视点来确定坐标变换数据。
(坐标变换信息的示例)
图22是示出坐标变换信息的示例的视图。
在图22的示例中，第一视点组的视点的摄像机ID是0至3。
如图22所示，通过将视点的isCorrectionFlag和坐标变换数据与第一视点组的每个视点的摄像机ID相关联来配置坐标变换信息。
isCorrectionFlag是指示作为对应视点的三维坐标系的第一三维坐标系是否与成为基准的第二三维坐标系不同的标志。在指示作为对应视点的三维坐标系的第一三维坐标系与成为基准的第二三维坐标系不同的情况下，isCorrectionFlag为1；但是在指示第一三维坐标系没有不同的情况下，isCorrectionFlag为0。
在第四实施例中，由于第一三维坐标系和第二三维坐标系彼此不同，因此所有isCorrectionFlag都为1。此外，在图22中，将摄像机ID为i的视点的坐标变换数据表示为R|t(i)。
要注意的是，坐标变换信息可以包括指示第一视点组的所有视点的坐标变换数据是否相同的坐标变换公共标志。在这种情况下，当第一视点组的所有视点的坐标变换数据都相同时，坐标变换信息包括指示第一视点组的所有视点的坐标变换数据都相同的坐标变换公共标志(坐标变换公共信息)以及第一视点组的所有视点共同的坐标变换数据。例如，在第一视点组的所有视点的坐标变换数据都相同的情况下，坐标变换公共标志为1；但在第一视点组的所有视点的坐标变换数据不同的情况下，坐标变换公共标志为0。
(合成设备的处理的描述)
图23是示出图20的合成设备340的合成处理的流程图。
在图23的步骤S111和S112中的处理分别类似于图19的步骤S91和S92中的处理，因此省略它们的描述。
在步骤S113中，合成设备340的坐标变换数据生成单元341基于第二视点组的摄像机参数、二维图像数据和深度图像数据以及第一视点组的二维图像数据，针对第一视点组的每个视点生成坐标变换数据。坐标变换数据生成单元341将包括第一视点组的视点的坐标变换数据的坐标变换信息提供给元数据添加单元342。
在步骤S114中，元数据添加单元342将从坐标变换数据生成单元341提供的坐标变换信息作为元数据放入从编码设备12发送的第一部分编码流中。
在步骤S115中，元数据添加单元342合成包括坐标变换信息的第一部分编码流和从编码设备282发送的第二部分编码流。元数据添加单元342将作为合成结果获得的与预定显示图像生成方法对应的多个视点的编码流发送至解码设备284。然后，处理结束。
(转换单元的配置的示例)
图24是示出在解码设备284的显示图像生成方法是自由视点显示图像生成方法的情况下的转换单元380的配置的示例的框图。
在图24所示的部件中，用相同的附图标记表示与图8的部件相同的部件。重叠的描述被适当地省略。
图24的转换单元380的配置与图8的转换单元33的配置的不同之处在于：三维数据生成单元151被三维数据生成单元381替代。
三维数据生成单元381包括三维位置转换单元391、三维位置转换单元392、坐标变换单元393和数据生成单元394。
三维数据生成单元381的三维位置转换单元391(第一三维位置转换单元)基于从解码单元301提供的第一视点组的元数据、二维图像数据和深度图像数据内的摄像机参数，根据上文给出的表达式(1)将第一视点的二维图像数据的每个像素的二维位置转换为第一三维坐标系中的三维位置。三维位置转换单元391将第一视点组的二维图像数据的每个像素在第一三维坐标系中的三维位置和第一视点组的二维图像数据提供给坐标变换单元393。
三维位置转换单元392(第二三维位置转换单元)基于从解码单元301提供的第二视点组的元数据、二维图像数据和深度图像数据内的摄像机参数，根据上文给出的表达式(1)将第二视点组的二维图像数据的每个像素的二维位置转换为第二三维坐标系中的三维位置。三维位置转换单元392将第二视点组的二维图像数据的每个像素在第二三维坐标系中的三维位置和第二视点组的二维图像数据提供给数据生成单元394。
坐标变换单元393基于从解码单元301提供的元数据内的坐标变换信息，将从三维位置转换单元391提供的第一视点组的二维图像数据的每个像素在第一三维坐标系中的三维位置变换为第二三维坐标系中的三维位置。坐标变换单元393将第一视点组的二维图像数据的每个像素在第二三维坐标系中的三维位置和第一视点组的二维图像数据提供给数据生成单元394。
数据生成单元394基于第一视点组和第二视点组的二维图像数据的每个像素在第二三维坐标系中的三维位置，根据第一视点组和第二视点组的二维图像数据生成图像拍摄对象的三维数据。
数据生成单元394使用从解码单元301提供的元数据内的遮挡三维数据来修改所生成的三维数据，并且将修改的三维数据提供给图像拍摄对象位置确定单元152和二维数据生成单元154。
(解码设备的处理的描述)
图25是示出第四实施例中的解码设备284的解码处理的流程图。该解码处理例如在从合成设备340向解码设备284发送编码流时开始。
在图25的步骤S131中，解码设备284的接收单元31接收从合成设备283发送的编码流。
在步骤S132中，解码单元301根据与编码单元22和编码单元292的编码方法对应的方法来对接收到的编码流进行解码。解码单元301将作为解码结果获得的第一视点组和第二视点组的二维图像数据、深度图像数据和元数据提供给转换单元380(图24)。
在步骤S133中，转换单元380的三维位置转换单元391基于第一视点组的元数据、二维图像数据和深度图像数据内的摄像机参数，确定第一视点组的二维图像数据的每个像素在第一三维坐标系中的三维位置。三维位置转换单元391将第一视点组的二维图像数据的每个像素在第一三维坐标系中的三维位置和二维图像数据提供给坐标变换单元393。
在步骤S134中，三维位置转换单元392基于第二视点组的元数据、二维图像数据和深度图像数据内的摄像机参数，确定第二视点的二维图像数据的每个像素在第二三维坐标系中的三维位置。三维位置转换单元392将第二视点组的二维图像数据的每个像素在第二三维坐标系中的三维位置和二维图像数据提供给数据生成单元394。
在步骤S135中，坐标变换单元393基于从解码单元301提供的元数据内的坐标变换信息，将从三维位置转换单元391提供的第一三维坐标系中的三维位置转换为第二三维坐标系中的三维位置。坐标变换单元393将第一视点组的二维图像数据的每个像素在第二三维坐标系中的三维位置和二维图像数据提供给数据生成单元394。
在步骤S136中，数据生成单元394基于第一视点组和第二视点组的二维图像数据的每个像素在第二三维坐标系中的三维位置，根据第一视点组和第二视点组的二维图像数据生成图像拍摄对象的三维数据。
步骤S137至S142中的处理分别类似于图9的步骤S34至S39中的处理，因此省略它们的描述。
要注意的是，合成设备283可以不将坐标变换信息放入第一部分编码流中，而是可以将第一三维坐标系中第一视点组的每个视点的外部参数RcamA|tcamA替换为放入具有在第二三维坐标系中的每个视点的外部参数RcamB|tcamB的第一部分编码流中。在这种情况下，在三维数据生成单元381中未设置坐标变换单元393，但三维位置转换单元391使用外部参数RcamB|tcamB代替外部参数RcamA|tcamA来直接确定第二三维坐标系中的三维位置。
在第一视点组的所有视点的坐标变换数据彼此不同的情况下，优选地将外部参数RcamA|tcamA替换为外部参数RcamB|tcamB。在坐标变换信息被放入第一部分编码流中的情况下，由于不需要修改原始的第一部分编码流，所以与其中外部参数被替换的替代情况相比，便利了该处理。
此外，如果视点的二维图像数据的尺度(在深度方向上视点与图像拍摄平面之间的距离)相同，则第一视点组的视点的坐标变换数据相同。因此，在这种情况下，坐标变换数据生成单元341可以仅生成第一视点组的一个视点的坐标变换数据作为第一视点组的视点共同的坐标变换数据。
如上所述，在第四实施例中，由编码设备12生成的第一部分编码流和由编码设备282生成的第二部分编码流被合成并发送至解码设备284。因此，作为合成结果获得的与预定显示图像生成方法对应的多个视点的编码流的三维坐标系可能不相同。
然而，在第四实施例中，合成设备340将第一部分编码流和第二部分编码流解码一次，并且基于解码结果生成坐标变换数据。然后，合成设备340将包括所生成的坐标变换数据的坐标变换信息与第一部分编码流和第二部分编码流一起发送。相应地，转换单元380可以基于坐标变换信息将第一视点组的二维图像数据的每个像素在第一三维坐标系中的三维位置转换为第二三维坐标系中的三维位置。因此，转换单元380可以基于第一视点组和第二视点组的二维图像数据的每个像素在同一第一三维坐标系中的三维位置，根据二维图像数据生成具有高精度的三维数据。
在第二至第四实施例中，在与二维图像数据和深度图像数据的预定显示图像生成方法对应的视点彼此不同的情况下，基于二维图像数据和深度图像数据来执行各个视点的同步偏差的检测或坐标变换数据的生成。
<第五实施例>
(发送系统的第五实施例中的合成设备的配置的示例)
除了合成设备283被合成设备400替代并且解码设备284的转换单元33被转换单元420替代以及视点组同步偏差信息被色彩偏移校正信息替代之外，应用本公开的发送系统的第五实施例的配置与图17的发送系统280的配置相同。因此，在下文中，仅描述合成设备400和转换单元420。
图26是示出合成设备400的配置的示例的框图。
在图26所示的部件中，用相同的附图标记表示与图18的部件相同的部件。重叠的描述被适当地省略。
图26的合成设备400的配置与图18的合成设备283的配置的不同之处在于：同步偏差检测单元323和元数据添加单元324分别被色彩偏移校正数据生成单元401和元数据添加单元402替代。合成设备400不检测每个视点的二维图像数据的同步偏差，而是生成用于校正每个视点的二维图像数据的色彩偏移的色彩偏移校正数据。
具体地，合成设备400的色彩偏移校正数据生成单元401将第一视点组和第二视点组中的一个视点确定为基准视点，并且将其他视点确定为参考视点。色彩偏移校正数据生成单元401针对每个参考视点，基于由解码单元321或解码单元322解码而生成的基准视点和参考视点的二维图像数据，生成用于校正参考视点相对于基准视点的二维图像数据的色彩偏移的色彩偏移校正数据。
具体地，当对参考视点的二维图像数据内的特征点的RGB值(R，G，B)执行逆伽马校正时获得的RGB值(R'，G'，B')由以下表达式(7)表示。
数学式7
γR、γG和γB分别是R、G和B的伽马值。
同时，用于将RGB值(R'，G'，B')转换为当对特征点(在该特征点处，参考视点的RGB值是来自基准视点的二维图像数据内的(R，G，B))的RGB值(Rc，Gc，Bc)执行逆伽马校正时获得的RGB值(R”，G”，B”)的表达式由以下表达式(8)表示。
数学式8
a11至a13、a21至a23和a31至a33是系数。
此外，由于RGB值(Rc，Gc，Bc)是对RGB值(R”，G”，B”)执行伽玛校正时获得的值，所以它们由以下表达式(9)表示。
数学式9
如上所述，色彩偏移校正数据生成单元401从参考视点的二维图像数据中提取特征点的RGB值(R，G，B)，并且从基准视点的二维图像数据中提取特征点的RGB值(Rc，Gc，Bc)。然后，色彩偏移校正数据生成单元401基于所提取的RGB值(R，G，B)和RGB值(Rc，Gc，Bc)，生成在将RGB值(R，G，B)转换为RGB值(Rc，Gc，Bc)时所需的伽玛值γR、γG、γB和系数a11至a13、a21至a23和a31至a33，作为色彩偏移校正数据。
此外，色彩偏移校正数据生成单元401生成使RGB值(R，G，B)和RGB值(Rc，Gc，Bc)变得彼此相同的色彩偏移校正数据作为用于基准视点的色彩偏移校正数据。色彩偏移校正数据生成单元401将包括所生成的每个视点的色彩偏移校正数据的色彩偏移校正信息提供给元数据添加单元402。
元数据添加单元402将从色彩偏移校正数据生成单元401提供的色彩偏移校正信息内的第一视点组的色彩偏移校正信息作为元数据放入从编码设备12向其发送的第一部分编码流中。此外，元数据添加单元402将从色彩偏移校正数据生成单元401向其提供的色彩偏移校正信息内的第二视点组的色彩偏移校正信息作为元数据放入从编码设备282向其发送的第二部分编码流中。
元数据添加单元402合成第一部分编码流和第二部分编码流，在第一部分编码流和第二部分编码流的每个中放置有作为元数据的色彩偏移校正信息。元数据添加单元402(发送单元)将作为合成结果获得的与预定显示图像生成方法对应的多个视点的编码流发送至解码设备284。
(色彩偏移校正信息的示例)
图27是示出色彩偏移校正信息的示例的视图。
在图27的示例中，与预定显示图像生成方法对应的多个视点的数量是9。
如图27所示，通过将与预定显示图像生成方法对应的所有视点的摄像机ID中的每一个与视点的isCorrectionFlag和色彩偏移校正数据相关联来配置色彩偏移校正信息。
isCorrectionFlag是指示在对应视点与基准视点之间是否出现色彩偏移的标志。在指示在对应视点与基准视点之间出现色彩偏移的情况下，isCorrectionFlag为1；但在指示未出现色彩偏移的情况下，isCorrectionFlag为0。
在图27的示例中，摄像机ID为0的视点是基准视点，并且在摄像机ID为1、2、4和6至9的参考视点与基准视点之间未出现色彩偏移。因此，与0至2、4和6至9的摄像机ID对应的isCorrectionFlag是0，并且不描述与摄像机ID对应的色彩偏移校正数据。
同时，在图27的示例中，在摄像机ID为3和5的参考视点与基准视点之间发生色彩偏移。因此，与3和5的摄像机ID对应的isCorrectionFlag是1，并且描述与摄像机ID对应的色彩偏移校正数据。在图27中，将摄像机ID为i的每个视点的色彩偏移校正数据描述为P(i)。
要注意的是，色彩偏移校正信息可以包括色彩偏移公共标志，该色彩偏移公共标志指示出现色彩偏移的所有视点的色彩偏移校正数据是否彼此相同。在这种情况下，当出现色彩偏移的所有视点的色彩偏移校正数据彼此相同时，色彩偏移校正信息包括指示所有出现色彩偏移的视点的色彩偏移校正数据彼此相同的色彩偏移公共标志(色彩偏移公共信息)和所有出现色彩偏移的视点共同的色彩偏移校正数据。例如，在所有出现色彩偏移的视点的色彩偏移校正数据彼此相同的情况下，色彩偏移公共标志为1；而在色彩偏移校正数据不同的情况下，色彩偏移公共标志为0。
(合成设备的处理的描述)
图28是示出图26的合成设备400的合成处理的流程图。
图28的步骤S161和S162中的处理分别类似于图19的步骤S91和S92中的处理，因此省略它们的描述。
在步骤S163中，合成设备400的色彩偏移校正数据生成单元401针对每个参考视点，基于通过解码单元321或解码单元322解码而生成的基准视点和参考视点的二维图像数据，生成参考视点的色彩偏移校正数据。此外，色彩偏移校正数据生成单元401生成使RGB值(R，G，B)和RGB值(Rc，Gc，Bc)变得彼此相同的色彩偏移校正数据作为基准视点的色彩偏移校正数据。色彩偏移校正数据生成单元401将包括视点的所生成的色彩偏移校正数据的色彩偏移校正信息提供给元数据添加单元402。
在步骤S164中，元数据添加单元402将从色彩偏移校正数据生成单元401提供的色彩偏移校正信息内的第一视点组的色彩偏移校正信息作为元数据放入从编码设备12发送的第一部分编码流中。
在步骤S165中，元数据添加单元402将从色彩偏移校正数据生成单元401提供的色彩偏移校正信息内的第二视点组的色彩偏移校正信息作为元数据放入从编码设备282发送的第二部分编码流中。
在步骤S166中，元数据添加单元402合成第一部分编码流和第二部分编码流，在第一部分编码流和第二部分编码流的每一个中放置有作为元数据的色彩偏移校正信息。元数据添加单元402将作为合成结果获得的与预定显示图像生成方法对应的多个视点的编码流发送至解码设备284。
(转换单元的配置的示例)
图29是示出转换单元420的配置的示例的框图。
在图29所示的部件中，用相同的附图标记表示与图8的部件相同的部件。重叠的描述被适当地省略。
图29的转换单元420的配置与图8的转换单元33的配置的不同之处在于：新设置了色彩校正单元421。
转换单元420的色彩校正单元421基于作为解码单元301解码结果获得的色彩偏移校正信息，根据上文给出的表达式(7)至(9)执行第一视点组和第二视点组的二维图像数据的色彩校正。因此，在所有视点的二维图像数据中，色彩与RGB值之间的关系变得相同。色彩校正单元421将色彩校正之后的第一视点组和第二视点组的二维图像数据以及作为解码单元301解码结果获得的第一视点组和第二视点组的深度图像数据提供给三维数据生成单元151。
除了在步骤S32与步骤S33之间执行色彩校正单元421的色彩校正之外，第五实施例中的解码设备284的解码处理与图9的解码处理类似。
如上所述，在第五实施例中，使用由不同摄像机拍摄的二维图像数据生成的第一部分编码流和第二部分编码流被合成并发送至解码设备284。因此，在一些情况下，在作为合成结果获得的与预定显示图像生成方法对应的多个视点的编码流中可能出现色彩偏移。
然而，在第五实施例中，合成设备340对第一部分编码流和第二部分编码流解码一次，并且针对作为解码结果获得的各个视点的二维图像数据生成色彩偏移校正数据。然后，合成设备340将所生成的色彩偏移校正数据的色彩偏移校正信息与第一部分编码流和第二部分编码流一起发送。因此，转换单元420可以基于色彩偏移校正数据来校正第一视点组和第二视点组的每个视点的二维图像数据的色彩偏移。因此，通过使用校正了色彩偏移的第一视点组和第二视点组的二维图像数据和深度图像数据生成三维数据，转换单元420可以提高三维数据内的二维图像数据的精度。
此外，在第五实施例中，由于合成设备400发送色彩偏移校正信息，因此仅需要将色彩偏移校正信息作为元数据放入第一部分编码流和第二部分编码流中。因此，与其中第一部分编码流和第二部分编码流被解码然后在校正色彩偏移之后被重新编码的替代情况相比，可以减少合成设备400的处理量。
要注意的是，在第五实施例中，可以将包括增益的周边调光(dimming)校正信息作为元数据放入第一部分编码流和第二部分编码流中，该周边调光校正信息用于校正每个视点或每个视点组的二维图像数据的周边相对于中心部分的调光。可替选地，每个视点或每个视点组的Exif(可交换图像文件格式)信息可以作为元数据被放置。
<第六实施例>
(应用本公开的计算机的描述)
尽管上文所述的一系列处理可以通过硬件来执行，但也可以通过软件来执行。在通过软件执行一系列处理的情况下，构成软件的程序被安装到计算机中。这里，在计算机中，包括合并在专用硬件中的计算机、例如可以通过安装各种程序来执行各种功能的通用用途的个人计算机等。
图30是示出通过程序执行上述一系列处理的计算机的硬件配置的示例的框图。
在计算机600中，CPU(中央处理单元)601、ROM(只读存储器)602和RAM(随机存取存储器)603通过总线604彼此连接。
输入/输出接口605也连接至总线604。输入单元606、输出单元607、存储单元608、通信单元609和驱动器610连接至输入/输出接口605。
输入单元606包括例如键盘、鼠标、麦克风等。输出单元607包括例如显示器、扬声器等。存储单元608包括硬盘、非易失性存储器等。通信单元609包括网络接口等。驱动器610驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质611。
在以上述方式配置的计算机600中，CPU 601通过输入/输出接口605和总线604将存储在例如存储单元608中的程序加载至RAM 603中，并且执行程序以执行上述一系列过程。
由计算机600(CPU 601)执行的程序可以被记录到例如作为封装介质的可移除介质611中并且作为可移除介质611被提供。此外，程序可以通过诸如局域网、因特网或数字卫星广播的有线或无线发送介质来提供。
在计算机600中，通过将可移除介质611装载到驱动器610中，可以通过输入/输出接口605将程序安装到存储单元608中。此外，程序可以由通信单元609通过有线或无线发送介质接收并被安装到存储单元608中。可替选地，可以将程序预先安装到ROM 602或存储单元608中。
要注意的是，由计算机600执行的程序可以是根据本说明书中描述的顺序以时间序列执行处理的程序，或者可以是并行或在必要时刻(例如当程序被调用时等)执行处理的程序。
此外，在本说明书中，术语系统表示多个组成元件(设备、模块(部件)等)的集合，并且无论所有组成元件是否被容纳在同一壳体中都没有关系。因此，容纳在分开的壳体中并且通过网络彼此连接的多个设备是系统，并且包括容纳在单个壳体中的多个模块的一个设备也是系统。
要注意的是，本说明书中描述的效果始终是示例性的而不是限制性的，并且可以涉及其他效果。
此外，本公开的实施例不限于上文描述的实施例，而是可以在不偏离本公开的主题的情况下以各种方式改变。
本公开还可以采用以下配置。
(1)一种图像处理设备，包括：
坐标变换数据生成单元，其基于第一视点的二维图像数据和第二视点的二维图像数据来生成坐标变换数据，坐标变换数据用于将第一视点的第一三维坐标系中的三维位置转换为第二视点的第二三维坐标系中的三维位置；以及
发送单元，其发送第一编码数据、第二编码数据以及包括由坐标变换数据生成单元生成的坐标变换数据的坐标变换信息，第一编码数据是第一视点的二维图像数据和深度图像数据的编码数据，第二编码数据是第二视点的二维图像数据和深度图像数据的编码数据，深度图像数据指示每个像素在图像拍摄对象的深度方向上的位置。
(2)根据(1)所述的图像处理设备，其中，
坐标变换数据由与摄像机的外部参数的表示方法相同的表示方法表示。
(3)根据(1)或(2)所述的图像处理设备，其中，
第一视点的数量是多个；以及
坐标变换数据生成单元针对每个第一视点生成坐标变换数据。
(4)根据(3)所述的图像处理设备，其中，
坐标变换信息包括指示所有第一视点的坐标变换数据是否相同的坐标变换公共信息。
(5)根据(3)所述的图像处理设备，其中，
在所有第一视点的坐标变换数据相同的情况下，发送单元发送包括指示所有第一视点的坐标变换数据相同的坐标变换公共信息和所有第一视点共同的坐标变换数据的坐标变换信息。
(6)一种图像处理方法，包括由图像处理设备执行：
坐标变换数据生成步骤：基于第一视点的二维图像数据和第二视点的二维图像数据来生成坐标变换数据，坐标变换数据用于将第一视点的第一三维坐标系中的三维位置转换为第二视点的第二三维坐标系中的三维位置；以及
发送步骤：发送第一编码数据、第二编码数据以及包括由坐标变换数据生成步骤中的处理生成的坐标变换数据的坐标变换信息，第一编码数据是第一视点的二维图像数据和深度图像数据的编码数据，第二编码数据是第二视点的二维图像数据和深度图像数据的编码数据，深度图像数据指示每个像素在图像拍摄对象的深度方向上的位置。
(7)一种图像处理设备，包括：
解码单元，其对第一编码数据和第二编码数据进行解码，第一编码数据是第一视点的二维图像数据和深度图像数据的编码数据，第二编码数据是第二视点的二维图像数据和深度图像数据的编码数据，深度图像数据指示每个像素在图像拍摄对象的深度方向上的位置；
第一三维位置转换单元，其基于第一视点的第一三维坐标系中的第一摄像机参数以及作为解码单元解码的结果获得的第一视点的二维图像数据和深度图像数据，将第一视点的二维图像数据的每个像素的二维位置转换为第一三维坐标系中的三维位置；以及
坐标变换单元，其基于包括用于将第一三维坐标系中的三维位置转换为第二视点的第二三维坐标系中的三维位置的坐标变换数据的坐标变换信息，将由第一三维位置转换单元转换后的第一三维坐标系中的三维位置转换为第二三维坐标系中的三维位置。
(8)根据(7)所述的图像处理设备，还包括：
第二三维位置转换单元，其基于第二视点的第二三维坐标系中的第二摄像机参数和作为解码单元解码的结果获得的第二视点的二维图像数据和深度图像数据，将第二视点的二维图像数据的每个像素的二维位置转换为第二三维坐标系中的三维位置；以及
数据生成单元，其基于由坐标变换单元转换的三维位置和由第二三维位置转换单元转换后的三维位置，根据第一视点的二维图像数据和第二视点的二维图像数据生成图像拍摄对象的三维数据。
(9)根据(7)或(8)所述的图像处理设备，其中，
坐标变换数据由与摄像机的外部参数的表示方法相同的表示方法表示。
(10)根据(7)至(9)中任一项所述的图像处理设备，其中，
第一视点的数量是多个；以及
针对每个第一视点生成坐标变换数据。
(11)根据(10)所述的图像处理设备，其中，
坐标变换信息包括指示所有第一视点的坐标变换数据是否相同的坐标变换公共信息。
(12)根据(10)所述的图像处理设备，其中，
坐标变换信息包括指示所有第一视点的坐标变换数据相同的坐标变换公共信息和所有第一视点共同的坐标变换数据。
(13)一种图像处理方法，包括由图像处理设备执行：
解码步骤：对第一编码数据和第二编码数据进行解码，第一编码数据是第一视点的二维图像数据和深度图像数据的编码数据，第二编码数据是第二视点的二维图像数据和深度图像数据的编码数据，深度图像数据指示每个像素在图像拍摄对象的深度方向上的位置；
第一三维位置转换步骤：基于第一视点的第一三维坐标系中的第一摄像机参数以及作为解码步骤中的处理解码的结果获得的第一视点的二维图像数据和深度图像数据，将第一视点的二维图像数据的每个像素的二维位置转换为第一三维坐标系中的三维位置；以及
坐标变换步骤：基于包括用于将第一三维坐标系中的三维位置转换为第二视点的第二三维坐标系中的三维位置的坐标变换数据的坐标变换信息，将由第一三维位置转换步骤中的处理转换后的第一三维坐标系中的三维位置转换为第二三维坐标系中的三维位置。
附图标记列表
11图像拍摄设备，12编码设备，13解码设备，22编码单元，23发送单元，31接收单元，32解码单元，53二维数据生成单元，151三维数据生成单元，154二维数据生成单元，171图像拍摄设备，172编码设备，173解码设备，192转换单元，211-1至211-N摄像机，222同步偏差检测单元，261-1至261-2N解码处理单元，262输出单元，282编码设备，283合成设备，284解码设备，292编码单元，301解码单元，321、322解码单元，323同步偏差检测单元，324元数据添加单元，340合成设备，341坐标变换数据生成单元，342元数据添加单元，391、392三维位置转换单元，393坐标变换单元，394数据生成单元，400合成设备，401色彩偏移校正数据生成单元，402元数据添加单元，421色彩校正单元。

Claims (13)

1.一种图像处理设备，包括：
坐标变换数据生成单元，其基于第一视点的二维图像数据和第二视点的二维图像数据来生成坐标变换数据，坐标变换数据用于将第一视点的第一三维坐标系中的三维位置转换为第二视点的第二三维坐标系中的三维位置；以及
发送单元，其发送第一编码数据、第二编码数据以及包括由坐标变换数据生成单元生成的坐标变换数据的坐标变换信息，第一编码数据是第一视点的二维图像数据和深度图像数据的编码数据，第二编码数据是第二视点的二维图像数据和深度图像数据的编码数据，深度图像数据指示每个像素在图像拍摄对象的深度方向上的位置。
2.根据权利要求1所述的图像处理设备，其中，
坐标变换数据由与摄像机的外部参数的表示方法相同的表示方法表示。
3.根据权利要求1所述的图像处理设备，其中，
第一视点的数量是多个；以及
坐标变换数据生成单元针对每个第一视点生成坐标变换数据。
4.根据权利要求3所述的图像处理设备，其中，
坐标变换信息包括指示所有第一视点的坐标变换数据是否相同的坐标变换公共信息。
5.根据权利要求3所述的图像处理设备，其中，
在所有第一视点的坐标变换数据相同的情况下，发送单元发送包括指示所有第一视点的坐标变换数据相同的坐标变换公共信息和所有第一视点共同的坐标变换数据的坐标变换信息。
6.一种图像处理方法，包括由图像处理设备执行：
坐标变换数据生成步骤：基于第一视点的二维图像数据和第二视点的二维图像数据来生成坐标变换数据，坐标变换数据用于将第一视点的第一三维坐标系中的三维位置转换为第二视点的第二三维坐标系中的三维位置；以及
发送步骤：发送第一编码数据、第二编码数据以及包括由坐标变换数据生成步骤的处理生成的坐标变换数据的坐标变换信息，第一编码数据是第一视点的二维图像数据和深度图像数据的编码数据，第二编码数据是第二视点的二维图像数据和深度图像数据的编码数据，深度图像数据指示每个像素在图像拍摄对象的深度方向上的位置。
7.一种图像处理设备，包括：
解码单元，其对第一编码数据和第二编码数据进行解码，第一编码数据是第一视点的二维图像数据和深度图像数据的编码数据，第二编码数据是第二视点的二维图像数据和深度图像数据的编码数据，深度图像数据指示每个像素在图像拍摄对象的深度方向上的位置；
第一三维位置转换单元，其基于第一视点的第一三维坐标系中的第一摄像机参数以及作为解码单元解码的结果获得的第一视点的二维图像数据和深度图像数据，将第一视点的二维图像数据的每个像素的二维位置转换为第一三维坐标系中的三维位置；以及
坐标变换单元，其基于包括用于将第一三维坐标系中的三维位置转换为第二视点的第二三维坐标系中的三维位置的坐标变换数据的坐标变换信息，将由第一三维位置转换单元转换后的第一三维坐标系中的三维位置转换为第二三维坐标系中的三维位置。
8.根据权利要求7所述的图像处理设备，还包括：
第二三维位置转换单元，其基于第二视点的第二三维坐标系中的第二摄像机参数和作为解码单元解码的结果获得的第二视点的二维图像数据和深度图像数据，将第二视点的二维图像数据的每个像素的二维位置转换为第二三维坐标系中的三维位置；以及
数据生成单元，其基于由坐标变换单元转换的三维位置和由第二三维位置转换单元转换后的三维位置，根据第一视点的二维图像数据和第二视点的二维图像数据生成图像拍摄对象的三维数据。
9.根据权利要求7所述的图像处理设备，其中，
坐标变换数据由与摄像机的外部参数的表示方法相同的表示方法表示。
10.根据权利要求7所述的图像处理设备，其中，
第一视点的数量是多个；以及
针对每个第一视点生成坐标变换数据。
11.根据权利要求10所述的图像处理设备，其中，
坐标变换信息包括指示所有第一视点的坐标变换数据是否相同的坐标变换公共信息。
12.根据权利要求10所述的图像处理设备，其中，
坐标变换信息包括指示所有第一视点的坐标变换数据相同的坐标变换公共信息和所有第一视点共同的坐标变换数据。
13.一种图像处理方法，包括由图像处理设备执行：
解码步骤：对第一编码数据和第二编码数据进行解码，第一编码数据是第一视点的二维图像数据和深度图像数据的编码数据，第二编码数据是第二视点的二维图像数据和深度图像数据的编码数据，深度图像数据指示每个像素在图像拍摄对象的深度方向上的位置；
第一三维位置转换步骤：基于第一视点的第一三维坐标系中的第一摄像机参数以及作为解码步骤中的处理解码的结果获得的第一视点的二维图像数据和深度图像数据，将第一视点的二维图像数据的每个像素的二维位置转换为第一三维坐标系中的三维位置；以及
坐标变换步骤：基于包括用于将第一三维坐标系中的三维位置转换为第二视点的第二三维坐标系中的三维位置的坐标变换数据的坐标变换信息，将由第一三维位置转换步骤的处理转换后的第一三维坐标系中的三维位置转换为第二三维坐标系中的三维位置。
CN201680064645.9A 2015-11-11 2016-10-28 图像处理设备和图像处理方法 Active CN108243629B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015221235 2015-11-11
JP2015-221235 2015-11-11
PCT/JP2016/082026 WO2017082078A1 (ja) 2015-11-11 2016-10-28 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
CN108243629A true CN108243629A (zh) 2018-07-03
CN108243629B CN108243629B (zh) 2020-09-08

Family

ID=58696032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680064645.9A Active CN108243629B (zh) 2015-11-11 2016-10-28 图像处理设备和图像处理方法

Country Status (6)

Country Link
US (1) US11290698B2 (zh)
EP (1) EP3376760A4 (zh)
JP (1) JP6984416B2 (zh)
KR (1) KR102527566B1 (zh)
CN (1) CN108243629B (zh)
WO (1) WO2017082078A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111837383A (zh) * 2018-07-13 2020-10-27 Lg电子株式会社 发送和接收关于动态视点的坐标系的元数据的方法和装置
CN113475080A (zh) * 2019-03-05 2021-10-01 索尼集团公司 图像处理装置、图像生成方法和图像处理方法
WO2023168999A1 (zh) * 2022-03-11 2023-09-14 腾讯科技（深圳）有限公司 一种虚拟场景的渲染方法、装置、电子设备、计算机可读存储介质及计算机程序产品

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2746431C2 (ru) * 2016-09-29 2021-04-14 Конинклейке Филипс Н.В. Обработка изображения
GB2571306A (en) 2018-02-23 2019-08-28 Sony Interactive Entertainment Europe Ltd Video recording and playback systems and methods
WO2020009341A1 (ko) * 2018-07-06 2020-01-09 엘지전자 주식회사 동적 뷰포인트의 좌표계에 대한 메타데이터를 송수신하는 방법 및 장치
CN112997498A (zh) * 2018-11-13 2021-06-18 松下电器（美国）知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置及三维数据解码装置
JP7511488B2 (ja) 2019-02-12 2024-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ多重化方法、三次元データ逆多重化方法、三次元データ多重化装置、及び三次元データ逆多重化装置
KR20210155386A (ko) * 2019-05-14 2021-12-22 인텔 코포레이션 3DoF+/MIV 및 V-PCC에 대한 몰입형 비디오 코딩 기술
EP3798976B1 (en) * 2019-09-30 2023-11-01 Tata Consultancy Services Limited Method and system for determining dynamism in a scene by processing a depth image
CN111862185A (zh) * 2020-07-24 2020-10-30 唯羲科技有限公司 一种从图像中提取平面的方法
CN113850236B (zh) * 2021-11-29 2022-04-15 深圳市优必选科技股份有限公司 3d姿态估计方法、装置和计算机设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215496B1 (en) * 1998-07-23 2001-04-10 Microsoft Corporation Sprites with depth
JP2008022421A (ja) * 2006-07-14 2008-01-31 Kddi Corp 多視点画像圧縮符号化方法、装置及びプログラム
CN101483770A (zh) * 2008-01-08 2009-07-15 华为技术有限公司 一种编解码方法及装置
US20090219282A1 (en) * 2008-02-29 2009-09-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same
CN101695140A (zh) * 2009-10-14 2010-04-14 宁波大学 一种基于对象的立体/自由视点电视的虚拟图像绘制方法
CN102325259A (zh) * 2011-09-09 2012-01-18 青岛海信数字多媒体技术国家重点实验室有限公司 多视点视频中虚拟视点合成方法及装置
CN103430529A (zh) * 2011-03-18 2013-12-04 索尼公司 图像处理设备和图像处理方法
JP2014116867A (ja) * 2012-12-12 2014-06-26 Nippon Hoso Kyokai <Nhk> 立体表示システム、立体像生成装置及び立体像生成プログラム
JP2014132722A (ja) * 2013-01-07 2014-07-17 National Institute Of Information & Communication Technology 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム
US20150055702A1 (en) * 2012-03-06 2015-02-26 Lg Electronics Inc. Method of processing video signals
US20150104091A1 (en) * 2013-10-11 2015-04-16 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN104662897A (zh) * 2012-09-25 2015-05-27 日本电信电话株式会社 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3776595B2 (ja) 1998-07-03 2006-05-17 日本放送協会 多視点画像の圧縮符号化装置および伸長復号化装置
KR101260613B1 (ko) * 2008-12-26 2013-05-03 닛뽕빅터 가부시키가이샤 화상 부호화 장치, 화상 부호화 방법 및 그 프로그램 및 화상 복호화 장치, 화상 복호화 방법 및 그 프로그램
ES2392229B1 (es) 2010-08-27 2013-10-16 Telefónica, S.A. Método de generación de un modelo de un objeto plano a partir de vistas del objeto.
KR101926477B1 (ko) * 2011-07-18 2018-12-11 삼성전자 주식회사 콘텐츠 재생 방법 및 장치
KR20130121058A (ko) * 2012-04-26 2013-11-05 한국전자통신연구원 3dtv를 위한 영상 재생 장치 및 상기 장치가 수행하는 방법
KR101410273B1 (ko) * 2012-09-11 2014-06-20 한국과학기술원 증강현실 응용을 위한 환경 모델링 방법 및 장치
JP6021541B2 (ja) * 2012-09-13 2016-11-09 キヤノン株式会社 画像処理装置及び方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215496B1 (en) * 1998-07-23 2001-04-10 Microsoft Corporation Sprites with depth
JP2008022421A (ja) * 2006-07-14 2008-01-31 Kddi Corp 多視点画像圧縮符号化方法、装置及びプログラム
CN101483770A (zh) * 2008-01-08 2009-07-15 华为技术有限公司 一种编解码方法及装置
US20090219282A1 (en) * 2008-02-29 2009-09-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same
CN101695140A (zh) * 2009-10-14 2010-04-14 宁波大学 一种基于对象的立体/自由视点电视的虚拟图像绘制方法
CN103430529A (zh) * 2011-03-18 2013-12-04 索尼公司 图像处理设备和图像处理方法
CN102325259A (zh) * 2011-09-09 2012-01-18 青岛海信数字多媒体技术国家重点实验室有限公司 多视点视频中虚拟视点合成方法及装置
US20150055702A1 (en) * 2012-03-06 2015-02-26 Lg Electronics Inc. Method of processing video signals
CN104662897A (zh) * 2012-09-25 2015-05-27 日本电信电话株式会社 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质
JP2014116867A (ja) * 2012-12-12 2014-06-26 Nippon Hoso Kyokai <Nhk> 立体表示システム、立体像生成装置及び立体像生成プログラム
JP2014132722A (ja) * 2013-01-07 2014-07-17 National Institute Of Information & Communication Technology 立体映像符号化装置、立体映像復号化装置、立体映像符号化方法、立体映像復号化方法、立体映像符号化プログラム及び立体映像復号化プログラム
US20150104091A1 (en) * 2013-10-11 2015-04-16 Canon Kabushiki Kaisha Image processing apparatus and image processing method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111837383A (zh) * 2018-07-13 2020-10-27 Lg电子株式会社 发送和接收关于动态视点的坐标系的元数据的方法和装置
CN111837383B (zh) * 2018-07-13 2023-01-31 Lg电子株式会社 发送和接收关于动态视点的坐标系的元数据的方法和装置
CN113475080A (zh) * 2019-03-05 2021-10-01 索尼集团公司 图像处理装置、图像生成方法和图像处理方法
WO2023168999A1 (zh) * 2022-03-11 2023-09-14 腾讯科技（深圳）有限公司 一种虚拟场景的渲染方法、装置、电子设备、计算机可读存储介质及计算机程序产品

Also Published As

Publication number Publication date
EP3376760A4 (en) 2019-04-03
CN108243629B (zh) 2020-09-08
JP6984416B2 (ja) 2021-12-22
US20180302603A1 (en) 2018-10-18
WO2017082078A1 (ja) 2017-05-18
EP3376760A1 (en) 2018-09-19
KR20180081721A (ko) 2018-07-17
JPWO2017082078A1 (ja) 2018-08-30
KR102527566B1 (ko) 2023-05-03
US11290698B2 (en) 2022-03-29

Similar Documents

Publication Publication Date Title
CN108243629A (zh) 图像处理设备和图像处理方法
JP6872131B2 (ja) 符号化装置および符号化方法、復号装置および復号方法
JP6911765B2 (ja) 画像処理装置および画像処理方法
EP2845164B1 (en) Reference card for scene referred metadata capture
CN114071116A (zh) 视频处理方法、装置、电子设备及存储介质
JP7009996B2 (ja) 画像処理装置および画像処理方法
CN113767423A (zh) 生成图像信号的装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant