CN110476415A - 影像数据生成装置、影像再现装置、影像数据生成方法、控制程序及记录介质 - Google Patents

Abstract

一种影像数据装置(3)，具备：中间视点影像数据生成部(10)，参照表示从各个相互不同的多个视点观察的影像的多个输入影像数据中的至少任一个，生成表示以在一维以上的直线或者曲线坐标系中规则地配置于至少一维方向的多个中间视点的每一个为视点的影像的中间视点影像数据。

Description

影像数据生成装置、影像再现装置、影像数据生成方法、控制 程序及记录介质

技术领域

本发明主要涉及一种生成能够再现从目标视点观察的影像的影像数据的影像数据生成装置。

背景技术

作为能够通过影像表现360度的视场的技术的例子，可以例举出360视频(全天球影像)和扩展360视频。图19的(a)是示意性地表示360视频的图，图19的(b)是示意性地表示扩展360视频的图。

360视频(3DoF：Degree of Freedom(三个自由度))是能够从一个视点环视周围进行视听的影像，更详细而言，是能够从虚拟空间中的一个点观察整周(4π球面度)的影像。基于实拍的360视频是通过可整周拍摄的相机拍摄的影像，或者是将通过多个相机拍摄的各影像拼接而生成的影像。

扩展360视频是能够移动视点位置进行视听的360视频，更详细而言，是能够从以虚拟空间中的1点为基准的规定的范围内观察整周的视频。在该技术中，通过支持视听者的微小的视点移动，能够提高头戴式显示器(HMD)视听时的真实感。此外，通过支持视听者的广范围的视点移动，能够从各个方向观察记录的场景。扩展360视频按照视点的可移动的范围的宽度，也被称为3DoF+、6DoF。在3DoF+中能够在窄的范围内视点移动，在6DoF中能够在更宽的范围内视点移动。

像扩展360视频那样，作为能够视听视点位置移动的影像的技术，在专利文献1中，公开了由多个相机影像合成虚拟视点影像的技术。在该文献中，公开了基于多个相机影像和相机位置的信息，生成规定的虚拟视点位置的影像的方法。在该技术中，通过基于虚拟视点位置和相机位置来透视变换相机影像，来生成影像。

现有技术文献

专利文献

专利文献1：日本公开专利公报“日本特开2013-106324号公报(2013年5月30日公开)”

发明内容

发明要解决的问题

在上述的扩展360视频的生成中，需要使用多个相机影像，合成以目标视点为视点的影像(目标视点影像)。然后，在再现目标视点影像时，在从相机影像直接制作目标视点影像的情况下，存在再现处理复杂化的问题。例如，根据状况，针对一个目标视点影像的合成，需要对来自设置的所有的相机的影像进行搜索(位置确认)或者解码处理。在这样的问题中，为了满足目标视点影像的生成处理的实际时间/低延迟的必要条件，再现处理的简化是重要的。

本发明是鉴于上述问题点而完成的，其目的在于，提供一种能够简化从目标视点观察的影像的再现处理的技术。

技术方案

为了解决上述问题，本发明的一方案的影像数据生成装置是生成影像数据的影像数据生成装置，具备：输入影像数据获取部，获取表示从各个相互不同的多个视点观察的影像的多个输入影像数据；以及中间视点影像数据生成部，参照上述多个输入影像数据中的至少任一个，生成表示以在一维以上的直线或者曲线坐标系中规则地配置于至少一维方向的多个中间视点的每一个为视点的影像的中间视点影像数据。

为了解决上述问题，本发明的一方案的影像数据生成装置是生成表示从目标视点观察的影像的影像数据的影像数据生成装置，具备：中间视点影像数据获取部，获取表示以在一维以上的直线或者曲线坐标系中规则地配置于至少一维方向的多个中间视点的每一个为视点的影像的中间视点影像数据；以及目标视点影像数据生成部，参照上述中间视点影像数据获取部所获取的中间视点影像数据来生成表示从上述目标视点观察的影像的目标视点影像数据。

为了解决上述问题，本发明的一方案的影像数据生成方法是由生成影像数据生成方法影像数据的影像数据生成装置实现的影像数据生成方法，包括：输入影像数据获取工序，获取表示从各个相互不同的多个视点观察的影像的多个输入影像数据；以及中间视点影像数据生成工序，参照上述多个输入影像数据中的至少任一个，生成表示以在一维以上的直线或者曲线坐标系中规则地配置于至少一维方向的多个中间视点的每一个为视点的影像的中间视点影像数据。

为了解决上述问题，本发明的一方案的影像数据生成方法是由生成表示从目标视点观察的影像的影像数据的影像数据生成装置实现的影像数据生成方法，包括：中间视点影像数据获取工序，获取表示以在一维以上的直线或者曲线坐标系中规则地配置于至少一维方向的多个中间视点的每一个为视点的影像的中间视点影像数据；以及目标视点影像数据生成工序，参照在上述中间视点影像数据获取工序中获取的中间视点影像数据来生成表示从上述目标视点观察的影像的目标视点影像数据。

有益效果

根据本发明的一方案，能够简化从目标视点观察的影像的再现处理。

附图说明

图1是表示本发明的实施方式1的扩展360视频数据记录再现系统的构成的框图。

图2是对由本发明的实施方式1的扩展360视频数据记录装置实现的中间视频组生成方法的一个示例进行说明的流程图。

图3是对由本发明的实施方式1的扩展360视频数据再现装置实现的目标视点影像生成方法的一个示例进行说明的流程图。

图4是用于对本发明的一实施方式的中间360视频组生成方法和目标视点影像生成方法的概略进行说明的图。

图5是用于对本发明的一实施方式的中间视点定义进行说明的图。

图6的(a)～图6的(c)分别是表示配置有本发明的一实施方式的中间视点的栅格点的例子的图。

图7是表示配置有本发明的一实施方式的中间视点的三维坐标中的栅格点的例子的图。

图8的(a)～图8的(c)分别是表示配置有本发明的一实施方式的中间视点的栅格点以外的例子的图。

图9是用于对本发明的一实施方式的与拍摄对象的深度对应的中间视点的配置进行说明的图。

图10是表示本发明的一实施方式的中间视点设定部所设定的中间视点的配置例的图。

图11是用于对本发明的一实施方式的中间360视频组生成处理进行说明的图。

图12是用于对本发明的一实施方式的扩展360视频数据的形式进行说明的图。

图13是用于对本发明的一实施方式的视点影像生成处理进行说明的图。

图14是表示本发明的实施方式2的扩展360视频数据记录再现系统的构成的框图。

图15是对由本发明的实施方式2的扩展360视频数据记录装置实现的中间视频组生成方法的一个示例进行说明的流程图。

图16是对由本发明的实施方式2的扩展360视频数据再现装置实现的目标视点影像生成方法的一个示例进行说明的流程图。

图17的(a)是表示本发明的实施方式3的扩展360视频数据记录再现系统的构成的框图。图17的(b)是表示本发明的实施方式3的扩展360视频数据再现部的构成的框图。

图18是对由本发明的实施方式3的扩展360视频数据再现装置实现的目标视点影像生成方法的一个示例进行说明的流程图。

图19的(a)是示意性地表示现有技术中的360视频的图，图19的(b)是示意性地表示现有技术中的扩展360视频的图。

具体实施方式

以下，对本发明的实施方式进行详细说明。但是，本实施方式所记载的构成只要没有特别特定的记载，就不意味着将本发明的范围仅限定于此，只不过是说明例。

在本发明的各实施方式中，如何能够以紧凑且容易使用的表达来记述再现特定的观测位置周边的影像所需的信息是问题所在。因此，在观测位置配置多个虚拟的360相机，制作该相机可拍摄的数据(中间视点影像数据)，使用此数据来生成观测位置附近的任意位置的视点的影像数据(目标视点影像数据)。

〔实施方式1〕

(扩展360视频数据记录再现系统)

参照图1对本实施方式的扩展360视频数据记录再现系统1进行详细的说明。图1是表示本实施方式的扩展360视频数据记录再现系统1的构成的框图。如图1所示，扩展360视频数据记录再现系统1包括：拍摄装置2、扩展360视频数据记录装置3(相当于权利要求中的影像数据生成装置)、以及扩展360视频数据再现装置4(相当于权利要求中的影像再现装置)。需要说明的是，以下，对扩展360视频数据记录再现系统1所具备的各部件进行说明，但关于详细情况，设置每个部件的项目而在后文加以记述。

拍摄装置2具备拍摄部5和发送部6。需要说明的是，在图1中，只表示出一个拍摄部5，但扩展360视频数据记录再现系统1包括多个具有与拍摄装置2相同的构成的拍摄装置(未图示)。

拍摄部5通过拍摄拍摄对象，获取影像数据。此外，上述多个拍摄装置所分别具备的具有与拍摄部5相同的构成的多个拍摄部分别获取相互不同的视点的影像数据。

发送部6将拍摄部5所获取的影像数据等发送至扩展360视频数据记录装置3。此外，发送部6将上述多个拍摄部所分别获取的相互不同的视点的影像数据发送至扩展360视频数据记录装置3。

(扩展360视频数据记录装置3)

如图1所示，扩展360视频数据记录装置3具备通信部7(相当于权利要求中的输入影像数据获取部)和处理部8。

通信部7接收拍摄装置2的发送部6所发送的影像数据(相当于权利要求中的输入影像数据)。

处理部8具备：中间视点设定部9、中间360视频组生成部10(相当于权利要求中的中间视点影像数据生成部)、以及编码/复用部11(相当于权利要求中的复用部)。对处理部8的功能的概略进行说明，处理部8参照通信部7所接收的多个影像数据中的至少任一个，生成表示以在一维以上的直线或者曲线坐标系中规则地配置于至少一维方向的多个中间视点的每一个为视点的影像的中间视点影像数据。需要说明的是，关于此处的中间视点的详细情况在后文加以记述。

中间视点设定部9设定在一维以上的直线或者曲线坐标系中规则地配置于至少一维方向的多个中间视点。

中间360视频组生成部10参照通信部7所接收的多个影像数据中的至少任一个，生成表示以基于中间视点设定部9的设定来配置的多个中间视点的每一个为视点的影像的中间视点影像数据。

编码/复用部11对中间360视频组生成部10所生成的各个中间视点影像数据(中间360视频组)进行编码，并复用编码后的各数据。

此外，通信部7将编码/复用部11所复用的中间视点影像数据(扩展360视频数据)发送至扩展360视频数据再现装置4。

(扩展360视频数据再现装置4)

如图1所示，扩展360视频数据再现装置4具备：接收部12(相当于权利要求中的中间视点影像数据获取部)、处理部13、以及显示部14。

接收部12接收扩展360视频数据记录装置3的通信部7所发送的中间视点影像数据(扩展360视频数据)。

处理部13具备：解码/解复用部15、中间视点设定部16、目标视点设定部17、以及视点影像生成部18(相当于权利要求中的目标视点影像数据生成部)。对处理部13的功能的概略进行说明，处理部13参照接收部12所接收的中间视点影像数据来生成表示从目标视点观察的影像的目标视点影像数据。

解码/解复用部15对接收部12所接收的中间视点影像数据(扩展360视频数据)进行解码，对解码的数据进行解复用。

中间视点设定部16设定在一维以上的直线或者曲线坐标系中规则地配置于至少一维方向的多个中间视点。需要说明的是，由中间视点设定部16设定的中间视点需要与由扩展360视频数据记录装置中的中间视点设定部9设定的中间视点相同，或者至少成为部分集合。在本实施方式中，设定的中间视点的信息假定为事先共享，但在其他实施方式中也可以将中间视点的信息包含在扩展360视频数据中来进行通知。

目标视点设定部17设定目标视点。需要说明的是，在此目标视点设定部17所设定的目标视点可以是目标视点设定部17自动设定的目标视点，也可以是基于用户的输入的目标视点。

视点影像生成部18参照解码/解复用部15所解复用的中间视点影像数据(中间360视频组)和中间视点设定部16所设定的中间视点的配置，生成表示从目标视点设定部17所设定的目标视点观察的影像的目标视点影像数据。

显示部14显示视点影像生成部18所生成的目标视点影像数据表示的影像。作为显示部14的例子，可以例举出头戴式显示器等。

(中间360视频组生成方法和目标视点影像生成方法)

参照图2～4对由本实施方式的扩展360视频数据记录装置3实现的中间360视频组生成方法和由本实施方式的扩展360视频数据再现装置4实现的目标视点影像生成方法进行说明。图2是对由本实施方式的扩展360视频数据记录装置3实现的中间视频组生成方法的一个示例进行说明的流程图。图3是对由本实施方式的扩展360视频数据再现装置4实现的目标视点影像生成方法的一个示例进行说明的流程图。图4是示意性地表示近似于拍摄范围的3D形状的信息即场景模型信息所包含的：具有与拍摄装置2相同的构成的相机P_c1、相机P_c2以及相机P_c3；中间视点P_v1、中间视点P_v2以及中间视点P_v3；以及目标视点P_t的图。

基于图4，若对本实施方式中的中间360视频组生成方法和目标视点影像生成方法的概略进行说明，则如以下所述。例如，扩展360视频数据记录装置3根据图4所示的相机P_c1、相机P_c2以及相机P_c3所分别拍摄的影像数据，生成表示分别以中间视点P_v1、中间视点P_v2以及中间视点P_v3为视点的影像的中间视点影像数据。然后，扩展360视频数据再现装置4参照扩展360视频数据记录装置3所生成的各中间视点影像数据中的至少一个，生成以目标视点P_t为视点的目标视点影像数据。

以下，参照图2对中间360视频组生成方法的各工序进行说明。需要说明的是，关于各工序的详细情况，在每个部件的项目中在后文加以记述。

首先，通信部7接收拍摄装置2所发送的影像数据(步骤S0)。

接着，中间视点设定部9设定在一维以上的直线或者曲线坐标系中规则地配置于至少一维方向的多个中间视点(步骤S1)。

接着，中间360视频组生成部10参照通信部7所接收的多个影像数据中的至少任一个，生成表示以基于中间视点设定部9的设定来配置的多个中间视点的每一个为视点的影像的中间视点影像数据(步骤S2)。

接着，编码/复用部11对中间360视频组生成部10所生成的各个中间视点影像数据(中间360视频组)进行编码，对编码的各数据进行复用(步骤S3)。

接着，通信部7将编码/复用部11所复用的中间视点影像数据(扩展360视频数据)发送至扩展360视频数据再现装置4(步骤S4)。

以下，参照图3对目标视点影像生成方法的各工序进行说明。需要说明的是，关于各工序的详细情况，在每个部件的项目中在后文加以记述。

首先，接收部12接收扩展360视频数据记录装置3的通信部7所发送的中间视点影像数据(扩展360视频数据)(步骤S10)。

解码/解复用部15对接收部12所接收的中间视点影像数据(扩展360视频数据)进行解码，对解码的数据进行解复用(步骤S11)。

中间视点设定部16设定在一维以上的直线或者曲线坐标系中规则地配置于至少一维方向的多个中间视点(步骤S12)。

目标视点设定部17设定目标视点(步骤S13)。

视点影像生成部18参照解码/解复用部15所解复用的中间视点影像数据(中间360视频组)和中间视点设定部16所设定的中间视点的配置，生成表示从目标视点设定部17所设定的目标视点观察的影像的目标视点影像数据(步骤S14)。

显示部14显示视点影像生成部18所生成的目标视点影像数据表示的影像(步骤S15)。

(中间视点定义)

以下，参照图5对中间视点设定部9和中间视点设定部16分别在步骤S1和S12中设定的中间视点的定义进行详细的说明。图5是表示沿着三维坐标中的XZ面配置的多个中间视点的图。

例如，如图5所示，中间视点设定部9和中间视点设定部16将中间视点配置于XZ面上的栅格点(栅格的各交点)。此外，中间视点设定部9和中间视点设定部16设定以下所示的关于中间视点的定义信息。

例如，中间视点设定部9和中间视点设定部16设定在虚拟空间内的栅格的位置和朝向来作为中间视点的定义信息。作为在虚拟空间内的栅格的位置的定义信息的例子，可以例举出图5所示的基准视点偏移。此外，作为在虚拟空间内的栅格的朝向的定义信息的例子，可以例举出平面上的栅格方向矢量即垂直矢量和水平矢量。即，为了确定在虚拟空间内的栅格的位置和朝向双方，可以利用基准视点偏移、垂直矢量以及水平矢量的组合。也可以利用规定在虚拟空间内的栅格的位置和朝向的其他参数的组合。例如，也可以使用平面的法线矢量来代替水平矢量。

此外，例如，中间视点设定部9和中间视点设定部16设定中间视点的个数、各中间视点位置以及各中间视点和关联数据的映射图信息等来作为中间视点的定义信息。作为各中间视点位置的例子，可以例举出各中间视点的水平位置(从基准视点观察的平面上的水平距离)和垂直位置(从基准视点观察的平面上的垂直距离)等。作为各中间视点与关联数据的映射图信息的例子，可以例举出360视频储存形式的映射图信息(例如，Equirectangular：球形)和360视频基准方向(赤道上的基准点、天顶点)等。通过使用该映射图信息，能够确定在从中间视点观察某个方向时能够观察的信息(光线)记录在以指定的360视频储存形式记录的影像数据的哪个区域。

如上所述，通过中间视点设定部9和中间视点设定部16将中间视点配置在栅格点，能够容易地确定目标视点的附近的中间视点。此外，通过由附近的栅格点的中间视点合成目标视点，能够限制在目标视点合成时所需的360视频解码数的最大值。例如，能够将360视频解码数的最大值限制在任意的目标点的附近的栅格点数的最大值(平面上的正方形栅格的情况下为4)。

此外，中间视点设定部9和中间视点设定部16配置中间视点的栅格点优选为正方形栅格的栅格点(相邻的中间视点的垂直方向的间隔和水平方向的间隔均匀)。通过中间视点设定部9和中间视点设定部16将中间视点配置于正方形栅格的栅格点，能够更容易地确定目标视点的附近的中间视点。例如，通过对目标视点的坐标应用以栅格间隔为单位的取整，能够导出附近的中间视点。

此外，中间视点设定部9和中间视点设定部16所设定的所有的中间视点(360视频)的基准方向优选为一致。通过中间视点设定部9和中间视点设定部16使中间视点的基准方向一致，能够简化中间视点的像素的读出。更详细而言，能够对虚拟空间上的矢量与对应的中间视点的图像上的位置的相互变换应用共同的算法。

此外，通过中间视点设定部9和中间视点设定部16使中间视点的基准方向一致，能够简化立体匹配。例如，在水平方向上排列的两个中间视点的基准方向一致，表示两个中间视点的赤道的圆存在于同一平面上的情况下，能够通过两个中间视点的各图像内的相同位置的线间的比较来估计深度。

(平面栅格)

以下，对平面栅格中的栅格点的共同的性质进行说明。中间视点设定部9和中间视点设定部16配置中间视点的栅格点配置于平行直线组与平行直线组的交点(平行直线组由所有的直线相互平行并且相邻的直线的间隔为等间隔的多个直线构成)。

此外，中间视点设定部9和中间视点设定部16配置中间视点的各栅格点具有沿着直线邻接的栅格点(邻接栅格点)。由此，中间视点设定部9和中间视点设定部16能够将邻接栅格点利用为附近栅格点。这样的效果对附近视点的选择的简化和视点上限的限制是有效的。

此外，中间视点设定部9和中间视点设定部16配置中间视点的栅格点的密度固定(随机地选择任意的范围时的栅格点密度的期望值为固定)。由此，无论将栅格内的哪个位置选为目标视点位置，到目标视点的附近的中间视点的距离的期望值都固定。这样的效果对合成的目标视点的品质保证是有效的。

中间视点设定部9和中间视点设定部16配置中间视点的栅格点只要满足如上所述的条件，该栅格点就可以是正方形栅格的栅格点以外的栅格点。图6示出了具有满足上述的各条件的栅格点的栅格的例子。图6的(a)示出了在纵向或者横向上相邻的栅格点的间隔为等间隔的正方形栅格(也可以是在纵向或者横向中的任一个方向上相邻的栅格点的间隔为等间隔的矩形栅格)。图6的(b)示出了六角形栅格，图6的(c)示出了平行体栅格。

如上所述，通过使用栅格点，能够使中间视点设定部9和中间视点设定部16所设定的多个中间视点中的在至少一维方向上相邻的中间视点间的距离相等。由此，能够容易地确定目标视点的附近的中间视点。

或者，通过使用栅格点，能够将中间视点设定部9和中间视点设定部16所设定的多个中间视点在二维以上的直线或者曲线坐标系中配置于二维方向。由此，能够更容易地确定目标视点的附近的中间视点。

(空间栅格)

以下，参照图7对中间视点设定部9和中间视点设定部16分别在步骤S1和S12中将中间视点配置于空间栅格的例子进行详细的说明。图7是表示配置于三维坐标中的各栅格点的多个中间视点的图。例如，如图7所示，中间视点设定部9和中间视点设定部16将中间视点配置于在三维以上的直线坐标系(也可以是曲线坐标系)中规则地配置于三维方向的栅格点。此外，中间视点设定部9和中间视点设定部16设定以下所示的关于中间视点的定义信息。

例如，中间视点设定部9和中间视点设定部16设定在虚拟空间内的栅格的位置和朝向来作为中间视点的定义信息。作为在虚拟空间内的栅格的位置的定义信息的例子，可以例举出图7所示的基准视点偏移。此外，作为在虚拟空间内的栅格的朝向的定义信息的例子，可以例举出作为栅格轴矢量的水平矢量、垂直矢量以及进深矢量。

此外，例如，中间视点设定部9和中间视点设定部16设定中间视点的个数、各中间视点位置以及各中间视点与关联数据的映射图信息等来作为中间视点的定义信息。作为各中间视点位置的例子，可以例举出各中间视点的水平位置、垂直位置以及进深位置(相对于基准视点的偏移)等。作为各中间视点与关联数据的映射图信息的例子，可以例举出360视频储存形式的映射图信息和360视频基准方向(赤道上的基准点、天顶点)等。

需要说明的是，仅通过增加栅格的轴(直线组)，空间栅格和上述平面栅格不会产生本质的差别。因此，中间视点设定部9和中间视点设定部16无论是在平面还是空间都会有效地将中间视点配置于栅格点。

如上所述，中间视点设定部9和中间视点设定部16所设定的多个中间视点在三维以上的直线或者曲线坐标系中规则地配置于三维方向。由此，能够更容易地确定目标视点的附近的中间视点。

(栅格点以外的配置)

此外，也可以是，中间视点设定部9和中间视点设定部16配置中间视点的空间上的位置是栅格点以外的位置。图8的(a)～(c)分别是表示栅格点以外的例子的图。图8的(a)表示在相邻的曲线的间隔为等间隔的多个曲线与相邻的直线的间隔为等间隔的多个直线的各交点配置中间视点的例子。图8的(b)表示在多个同心圆与以该多个同心圆的中心为中心的多个放射线的各交点配置中间视点的例子。图8的(c)表示在球面上的多个经线与该球面上的多个纬线的各交点配置中间视点的例子(省略背面的中间视点)。

如图8的(a)～(c)的各例子所示，通过中间视点设定部9和中间视点设定部16将中间视点以等间隔配置于规定的曲线上，或者以等间隔配置于规定的圆周上(也可以是等角度间隔)，目标视点的附近的中间视点的检索变得容易。此外，中间视点的位置的参数化变得容易。

(与目标视点的可设定范围对应的中间视点的配置)

也可以是，中间视点设定部9和中间视点设定部16分别在步骤S1和S12中设定的中间视点的配置是与目标视点设定部17所设定的目标视点的可设定范围(规定的范围)对应的配置。此处的目标视点的可设定范围可以是一维以上的直线或者曲线坐标系中的规定的范围。

例如，也可以是，中间视点设定部9和中间视点设定部16在目标视点设定部17所设定的目标视点可设定范围内(规定的范围内)设定中间视点。由此，能够减少在目标视点合成时未利用的图像信息。此外，优选的是，在目标视点设定部17所设定的目标视点可设定范围与其他方向相比在特定的方向上较宽的情况下，中间视点设定部9和中间视点设定部16将多个中间视点配置于沿着该特定的方向的直线上或者平面上。由此，在目标视点合成时所需的中间视点被适当地配置在规定的范围内。

此外，也可以是，中间视点设定部9和中间视点设定部16在目标视点设定部17所设定的目标视点可设定范围的中心和端部配置中间视点。此外，目标视点设定部17可以设定平面的目标视点可设定范围，中间视点设定部9和中间视点设定部16可以在该平面上的目标视点可设定范围内的栅格点配置中间视点。

(与拍摄对象的深度对应的中间视点的配置)

也可以是，中间视点设定部9和中间视点设定部16分别在步骤S1和S12中设定的中间视点的配置是与通信部7在步骤S0中接收到的影像数据所表示的拍摄对象的深度对应的配置。图9是示意性地表示拍摄拍摄对象的相机p与拍摄对象的最大深度d_max和最小深度d_min的图。例如，中间视点设定部9和中间视点设定部16参照表示拍摄对象的深度的空间上的变化的大小的指标，在变化较大的情况下将相邻的中间视点的间隔设定得较窄。作为该指标的例子可以例举出拍摄对象的深度范围等。例如，在从中间视点至拍摄对象为止的最小深度相同的情况下，拍摄对象的深度的范围越宽，相邻的中间视点的间隔设定得越窄。

此外，作为指标的其他例子，可以例举出拍摄对象的深度范围和拍摄对象的最小深度的组合。

例如，也可以是，中间视点设定部9和中间视点设定部16基于表示拍摄对象的深度的空间上的变化的大小的下述的式(I)，设定相邻的中间视点的间隔。

p＝(d_max-d_min)/d_min···式(I)

在上述式(1)中，参数p越小，中间视点设定部9和中间视点设定部16将相邻的中间视点的间隔设定得越宽，参数p越大，将相邻的中间视点的间隔设定得越窄。

(拍摄装置2)

以下，对本实施方式的拍摄装置2(相机)进行详细的说明。本实施方式的扩展360视频数据记录再现系统1如上所述，包括具有与拍摄装置2相同的构成的多个拍摄装置(未图示)，该多个拍摄装置分别拍摄现实世界的场景(拍摄对象)，将以下的(1)～(3)的各信息输出至通信部7。

(1)源视频

源视频相当于各拍摄装置所拍摄的影像数据。在拍摄装置为360相机的情况下，源视频是通过360相机拍摄的360影像(全方位影像)。在拍摄装置为一般的相机(窄角相机)的情况下，源视频是通过窄角相机拍摄的影像。

(2)相机位置信息

相机位置信息表示各拍摄装置在实际空间中的位置或者方向。例如，相机位置信息可以是表示以实际空间中的既定位置为基准的各拍摄装置的空间位置的信息。此外，相机位置信息可以是表示以既定方向为基准的各拍摄装置的拍摄方向的信息。此外，相机位置信息可以是表示各拍摄装置的拍摄视场角的信息。

(3)场景模型信息

场景模型信息是近似于拍摄范围的3D形状的信息。在本实施方式中，假定测定从规定的1点向周围的距离而获得的深度信息，作为场景模型信息。此外，也可以利用3D模型、多个深度信息或者它们的组合，作为场景模型信息。

需要说明的是，本实施方式的扩展360视频数据记录装置3也可以将通过由3DCG等合成的虚拟的相机拍摄到的虚拟的物体的影像作为源视频(影像数据)进行处理，来代替多个拍摄装置所输出的上述源视频。在该情况下，伴随着源视频，需要虚拟的相机位置的信息。

(中间视点设定部9)

以下，参照图10对本实施方式的中间视点设定部9进行详细的说明。图10是表示沿着三维坐标中的XZ面配置的多个中间视点的图。需要说明的是，关于中间视点设定部9所设定的中间视点的定义信息的例子，参照在上述项目(中间视点定义)中记载的例子。

在以下示出中间视点设定部9所设定的、更详细的中间视点的配置例。例如，中间视点设定部9将中间视点配置于平面上的栅格点。此外，中间视点设定部9为了配置中间视点，在虚拟空间中设定3轴(x，y，z)的正交坐标系。

在以下示出中间视点设定部9所设定的与中间视点的配置相关的数据构成的例子。例如，中间视点设定部9设定在虚拟空间内的栅格位置和朝向的定义信息。作为该定义信息的例子，可以例举出下述(1)和(2)等。

(1)基准视点偏移：u_o＝(0，0，0)

(2)平面上的栅格方向矢量：

u_v＝(0，0，dv)..垂直：z轴的正方向

u_h＝(d_v，0，0)..水平：x轴的正方向

或者，例如，中间视点设定部9设定中间视点的个数(中间视点的个数＝9(3×3))。或者，例如，中间视点设定部9设定下述所示的各中间视点位置。

u_o，u_o±u_v，u_o±u _h，u_o±u_v±u_h(重号任意)

或者，例如，中间视点设定部9设定各中间视点与关联数据的映射图信息。作为该映射图信息的例子，可以例举出360视频储存形式的映射图信息(例如，Equirectangular等)和360视频基准方向等。360视频基准方向可以是赤道上的基准点(赤道上的基准点＝(0，1，0)与图像的中心对应)，或者天顶点(天顶点＝(0，0，1)与图像的最上部中央(或者最上边)对应)等。

(中间360视频组生成部10)

以下，对本实施方式的中间360视频组生成部10进行详细的说明。例如，中间360视频组生成部10在上述步骤S2中，基于中间视点设定部9所设定的中间视点定义，并且基于通信部7从拍摄装置2接收到的源视频、相机位置信息以及场景模型信息，生成中间360视频组(包括多个中间视点影像数据)。此处的中间360视频组是指，表示与在由中间视点定义规定的各中间视点配置虚拟相机来进行拍摄的影像相当的影像数据组。

概略而言，中间360视频组生成部10根据通过实际的相机拍摄的源视频，生成由设置于中间视点的虚拟相机拍摄的360视频组。作为由中间360视频组生成部10对中间360视频组进行生成处理得到的效果，可以例举出：通过事先对中间视点确定既定的配置，即使在目标视点合成时没有与实际的相机配置相关的知识，也能够执行图像合成处理。

例如，由于通过假定特定的相机配置的性质能够使视点合成处理最优化，因此，通过使中间视点与其相机配置一致，能够得到在保留实际的相机位置的自由度的基础上，能够执行最优化的目标视点合成处理的优点。一般，由于在追随着用户指定的视点生成并显示对应的图像的应用程序中，请求实际时间并且低延迟的目标视点合成处理，因此，设置中间360视频组的生成处理是有效的。

此外，中间360视频组生成部10所生成的中间360视频组的数据表示优选以多视点影像的编码和文件形式为基础。此外，对基于中间360视频组合成的目标视点影像进行再现的HMD被最优化为360视频的渲染，因此，中间360视频组生成部10所生成的中间360视频组优选为与HMD的兼容性(共同部分)多的形式。

此外，根据实际时间并且低延迟中的目标视点影像的再现处理的请求，中间360视频组生成部10所生成的中间视点影像数据优选为插补处理变得简单的形式。此外，根据解码处理的请求，中间360视频组生成部10所生成的中间360视频组作为视点影像生成部18在目标视点影像的再现处理时能够集中接入的信息，优选为由最小数量的360视频帧构成。

此外，由于通过中间360视频组生成部10生成中间360视频组，能够获得以多个中间视点为各自的视点的多个影像，因此，不需要在现实世界中想要再现视点的位置设置许多相机，能够降低机械材料和设置的成本。(中间360视频组生成处理)

以下，参照图11对由中间360视频组生成部10实现的中间360视频组生成处理(上述步骤S2)进行详细的说明。图11是示意性地表示在场景模型信息(深度)中包括的、具有与拍摄装置2相同的构成的相机P_c1、相机P_c2以及相机P_c3；以及中间视点P_vk的图。

包括相机P_c1、相机P_c2以及相机P_c3的多个拍摄装置例如将以下的(1)～(3)的数据发送至扩展360视频数据记录装置3的通信部7。

(1)源视频

-V_c1、V_c2、……、V_cN

(2)相机位置信息

相机位置

-p_c ¹、p_c ²、……、p_c ^N

相机视场(方向+视场角)

(3)场景模型信息(深度数据)

-D₀

此外，中间360视频组生成部10在上述步骤S2中，生成以下的(1)和(2)的数据。

(1)中间360视频

-V_v1、V_v2、……、V_vK

(2)中间视点位置

例：基于函数的参数表示

-p_vk＝f(k)(k＝1...K)

以下，对由中间360视频组生成部10实现的中间360视频组生成处理的步骤进行说明。中间360视频组生成部10例如对各中间视点k∈[1，K]执行以下的(1)～(4)的处理，导出中间视点视频V_vk。需要说明的是，在以下的(1)～(4)中，关于导出中间视点视频V_vk的方法，以导出与特定时刻的中间视点影像数据相当的中间视点图像I_vk上的各位置的像素值的步骤进行说明。

(1)图像上的对象位置设定

中间360视频组生成部10将中间视点图像I_vk上的对象位置设定为x_vk，m。

(2)空间对应位置导出

接着，中间360视频组生成部10基于中间视点位置p_vk、对象位置x_vk，_m以及深度数据D₀，导出相当于与x_vk，m对应的空间上的点的位置p_om。

(3)各相机影像的对应位置导出

接着，中间360视频组生成部10基于p_ok和p_cn，导出与相机n的图像上的空间位置p_ok相当的位置x_cn，m。

(4)对象像素值的导出

接着，中间360视频组生成部10将相机n的图像I_cn上的位置x_cn，m的像素值设定为图像I_vk的位置x_vk，m的像素值。需要说明的是，在存在能够由多个相机利用的像素的情况下，中间360视频组生成部10以规定的基准选择像素，作为图像I_vk的位置x_vk，m的像素。

作为上述(4)的具体例，例如，中间360视频组生成部10选择并参照表示相对于拍摄对象(相当于图像I_vk的位置x_vk，m的像素)分辨率最高的相机(或者，相对于拍摄对象最近的相机)所拍摄的影像的输入影像数据(图像I_cn上的位置x_cn，m的像素)，生成表示该拍摄对象的影像的中间视点影像数据。或者，例如，中间360视频组生成部10优先地参照表示具有最接近于从目标中间视点(位置p_vk)向拍摄对象(相当于图像I_vk的位置x_vk，m的像素)的方向的光轴的相机所拍摄的影像的输入影像数据(图像I_cn上的位置x_cn，m的像素)，生成表示以该目标中间视点为视点的该拍摄对象的影像的中间视点影像数据(中间360视频组)。在此，优先地参照特定的输入影像数据是指，除了仅参照特定的输入影像数据以外，还包括在同时参照特定的输入影像数据和其他输入影像数据的情况下增加前者的比重(例如对像素值进行加权平均的情况下的权重)的意思。通过采用以上的各构成，能够基于与实际的拍摄对象最近似的输入影像数据，生成中间视点影像数据。

此外，中间360视频组生成部10在非遮挡且朗伯反射的假定的基础上通过光线追踪搜索中间视点的各光线，从而生成中间视点的360图像。更详细而言，中间360视频组生成部10参照通信部7所接收到的多个输入影像数据中的至少任一个，通过基于拍摄到输入影像数据所示的影像的相机的各位置、该相机的参数、中间视点设定部9所设定的多个中间视点的各位置、影像的各拍摄对象的深度(场景模型信息)的光线追踪，生成中间视点影像数据(中间360视频组)。由此，能够生成符合实际的拍摄对象的中间视点影像数据。

需要说明的是，中间360视频组所包括的各个360视频被定义为将按时刻入射至中间视点的光线映射至既定的模型(例如球)而得到图像，将该图像设为各时刻的帧的视频。作为此处的代表性映射的例子，可以例举出Equirectangular(球形)和cube map(立方体贴图)等。在本实施方式中的中间360视频组生成处理中，不依存于特定的映射方法，但优选对所有的中间360视频应用共同的映射方法。由此，能够简化目标视点合成处理。

(编码/复用部11)

以下，对本实施方式的编码/复用部11进行详细的说明。在步骤S3中，编码/复用部11对中间360视频组生成部10所生成的中间360视频组进行编码和复用，生成并输出封装化后的扩展360视频数据。例如，编码/复用部11以既定的影像编码方式(例如，HEVC)对中间360视频组所包括的各360视频进行编码。需要说明的是，该影像编码方式优选为利用与邻接的中间视点的360视频的相关性，对目标中间视点的360视频进行编码的方式。

此外，例如，编码/复用部11至少对360视频组数据和映射图数据进行编码、复用。此外，编码/复用部11所应用的编码方式优选为选择性地读出规定的时刻的中间视点的中间360视频数据的方式。

此外，例如，编码/复用部11也可以与360视频组数据一起，对作为附加信息的表示上述目标视点可设定范围(规定的范围)的信息也进行编码、复用。由此，能够不对中间视点的位置进行解析地设定范围。

此外，编码/复用部11(相当于权利要求中的复用部)优选对中间360视频组生成部10(相当于权利要求中的中间视点影像数据生成部)应用共同的映射而生成的各个360视频(中间视点影像数据)进行复用。由此，由于仅处理应用了共同的映射的影像即可，因此，能够简化目标视点合成处理。

此外，编码/复用部11优选对表示以基准方向相同的中间视点为视点的影像的360视频(中间视点影像数据)进行复用。由此，由于仅处理以基准方向相同的中间视点为视点的影像即可，因此，能够简化目标视点合成处理。

此外，编码/复用部11优选对各个360视频(中间视点影像数据)和分别将该各个360视频和多个中间视点建立对应的映射图数据进行复用。由此，由于能够容易地判别与任意的中间视点对应的影像，因此，能够简化目标视点合成处理。

(扩展360视频数据的形式)

以下，参照图12对编码/复用部11所编码并复用的作为中间视点影像数据的扩展360视频数据的形式进行详细的说明。图12是表示扩展360视频数据和对应的中间视点的示意图。

编码/复用部11所生成的扩展360视频数据是对各中间360视频(中间视点影像数据)应用影像编码的数据。此外，编码/复用部11所生成的扩展360视频数据优选包括映射图数据。该映射图数据是表示各360视频数据和各中间视点位置建立对应的数据。作为映射图数据所包括的各个映射图的内容的例子，可以例举出360视频储存位置和中间视点位置等。例如，360视频储存位置由从数据开头起的字节偏移来表示。中间视点位置由相对于规定的基准点的相对位置来表示。此外，在其他例子中，360视频储存位置由360视频被储存的网站的URL来表示。中间视点位置由中间视点索引来表示。

(视点影像生成部18)

以下，对本实施方式的视点影像生成部18进行详细的说明。视点影像生成部18参照解码/解复用部15所解复用的中间视点影像数据(中间360视频组)，生成表示从目标视点设定部17所设定的目标视点观察的影像的目标视点影像数据。更具体而言，视点影像生成部18根据将为了合成目标视点的图像所需的信息包含在中间360视频组的360视频的图像信息，生成目标视点影像数据。在此，视点影像生成部18根据目标视点(视点位置和视线方向)和中间视点位置，计算并导出所利用的360视频或者图像区域。

此外，视点影像生成部18优选参照表示以与目标视点的位置最接近的位置的1点或者2点的中间视点为视点的影像的中间视点影像数据(360视频)，生成表示从该目标视点观察的影像的目标视点影像数据(360视频)。由此，能够在实际的视点上，生成以更近似的目标视点为视点的影像。

需要说明的是，以下，对选择目标视点的附近的两个中间视点的方法进行说明，但目标视点影像生成方法并不限定于此。例如，可以通过合并三个以上的中间视点的360视频来生成目标视点影像，也可以采用并用在追加中包括的深度信息来选择中间视点的方法。

(视点影像生成处理)

以下，参照图13对由本实施方式的视点影像生成部18实现的视点影像生成处理进行详细的说明。图13的(a)～(c)是示意性地表示以下所说明的视点影像生成处理的各工序的图。

视点影像生成部18例如参照以下的(1)和(2)的数据。

(1)中间360视频数据

-V_v1、V_v2、……、V_vK

(2)中间视点位置

例：基于函数的参数表示

-p_vk＝f(k)(k＝1…K)

此外，视点影像生成部18例如参照目标视点设定部17所设定的作为目标视点信息的目标视点：p_t和目标视场：

然后，视点影像生成部18通过参照这些信息，生成目标视点影像(视频)V_t。

以下，对由视点影像生成部18实现的视点影像生成处理的步骤进行说明。视点影像生成部18在以下的(1)～(3)的步骤中，基于中间360视频组的信息生成目标视点影像。需要说明的是，以下，对目标视点影像V_t的特定时刻的图像I_t的导出处理进行说明。

(1)附近视点设定

如图13的(a)所示，视点影像生成部18选择目标视点p_t的附近的代表视点p_v4和代表视点p_v5。或者，视点影像生成部18在p_t与特定的p_vk一致的情况下，选择1点代表视点作为附近视点，除此以外的情况下，按与目标视点接近的顺序选择2点代表视点作为附近视点。

(2)附近样本的视点影像合成

如图13的(b)所示，视点影像生成部18根据各附近视点的360视频生成与目标视场为同方向，并且为同视场的，从附近视点观察的视点的图像。

(3)最终视点影像合成

视点影像生成部18在附近样本数为1点的情况下，对由(2)导出的影像应用视点补足处理来合成最终视点图像，如图13的(c)所示，在附近样本数为2点的情况下，对从两个附近视点提取的影像应用视点插补处理来合成最终视点图像。

如上所述，视点影像生成部18选择与目标视点对应的附近2点的360视频，分别转换为相当于目标视场的影像。然后，视点影像生成部18通过对它们应用视点插补，生成目标视点影像。由此，可以使用所限定的数量(两个)以内的数量的360视频来生成目标视点影像。此外，根据上述步骤，作为最后的处理的(3)的工序相当于通常相机影像的视点插补的工序，因此，起到能够再利用现有的算法的追加的效果。需要说明的是，也可以使用根据作为上述(1)的结果的附近视点1和附近视点2这两个360视频来直接合成最终视点影像的步骤。在该构成的情况下，现有的算法的再利用变困难，但起到能够降低中间的视频存储器的请求量的效果。

〔实施方式1的总结〕

如上所述，本实施方式的扩展360视频数据记录装置3(影像数据生成装置)参照表示从各个相互不同的多个视点观察的影像的多个输入影像数据中的至少任一个，生成表示以在一维以上的直线或者曲线坐标系中规则地配置于至少一维方向的多个中间视点的每一个为视点的影像的中间视点影像数据。

此外，本实施方式的扩展360视频数据再现装置4(影像数据生成装置)参照扩展360视频数据记录装置3所生成的中间视点影像数据，生成表示从目标视点观察的影像的目标视点影像数据。

由此，由于能够基于规则地配置的多个中间视点来生成目标视点影像，因此，与根据相机影像直接生成视点影像的情况相比，能够简化目标视点影像的生成和再现。此外，能够利用限制而容易地确定视点合成所需的目标视点附近的中间视点。此外，能够仅根据目标视点附近的中间视点影像数据进行视点合成，能够削减解码处理或者视频存储器。此外，由于能够将中间视点影像的形式设为360视频的形式，因此，能够使目标视点影像的再现算法的一部分与固定视点的360视频再现进行共享。

〔实施方式2〕

若基于附图对本发明的实施方式2进行说明，则如以下所述。需要说明的是，对在实施方式1中说明过的与扩展360视频数据记录再现系统1所具备的部件具有相同功能的部件标注相同的符号，并省略其说明。

(扩展360视频数据记录再现系统20)

参照图14对本实施方式的扩展360视频数据记录再现系统20进行说明。图14是表示扩展360视频数据记录再现系统20的构成的框图。如图14所示，本实施方式的扩展360视频数据记录再现系统20除了扩展360视频数据再现装置21的处理部22不具备中间视点设定部16以外，具有与实施方式1的扩展360视频数据记录再现系统1相同的构成。

(中间360视频组生成方法和目标视点影像生成方法)

参照图15和图16对由本实施方式的扩展360视频数据记录装置3实现的中间360视频组生成方法和由本实施方式的扩展360视频数据再现装置21实现的目标视点影像生成方法进行详细的说明。图15是对由本实施方式的扩展360视频数据记录装置3实现的中间视频组生成方法的一个示例进行说明的流程图。图16是对由本实施方式的扩展360视频数据再现装置21实现的目标视点影像生成方法的一个示例进行说明的流程图。需要说明的是，对于与实施方式1的中间360视频组生成方法或者目标视点影像生成方法相同的工序，省略详细说明。

(中间360视频组生成方法)

以下，参照图16对本实施方式中的中间360视频组生成方法的各工序进行说明。

首先，通信部7接收拍摄装置2所发送的影像数据(步骤S20)。

接着，中间视点设定部9设定在一维以上的直线或者曲线坐标系中规则地配置于至少一维方向的多个中间视点，将与所设定的中间视点的配置相关的信息(中间视点定义信息)发送至中间360视频组生成部10和编码/复用部11(步骤S21)。

接着，中间360视频组生成部10参照通信部7所接收到的多个影像数据中的至少任一个，生成表示以基于中间视点设定部9的设定来配置的多个中间视点的每一个为视点的影像的中间视点影像数据(步骤S22)。

接着，编码/复用部11对中间360视频组生成部10所生成的各个中间视点影像数据(中间360视频组)和从中间视点设定部9发送的中间视点定义信息进行编码，通过对编码的各数据进行复用，生成扩展360视频数据(步骤S23)。

接着，通信部7将编码/复用部11所生成的扩展360视频数据发送至扩展360视频数据再现装置21(步骤S24)。

(目标视点影像生成方法)

以下，参照图16对本实施方式中的目标视点影像生成方法的各工序进行说明。

首先，接收部12接收扩展360视频数据记录装置3的通信部7所发送的扩展360视频数据(步骤S30)。

解码/解复用部15通过对接收部12所接收到的扩展360视频数据进行解码，对解码的数据进行解复用，来生成中间360视频组和中间视点定义信息，读出所生成的中间视点定义信息来设定中间视点定义(步骤S31)。

目标视点设定部17设定目标视点(步骤S32)。

视点影像生成部18参照解码/解复用部15所解复用的中间360视频组和解码/解复用部15所设定的中间视点定义，生成表示从目标视点设定部17所设定的目标视点观察的影像的目标视点影像数据(步骤S33)。

显示部14显示视点影像生成部18所生成的目标视点影像数据所示的影像(步骤S34)。

对上述所示的本实施方式中的中间360视频组生成方法和目标视点影像生成方法与实施方式1中的中间360视频组生成方法和目标视点影像生成方法的差异进行说明。首先，本实施方式中的方法在明确地发送了中间视点定义方面，与实施方式1中的方法不同。由此，从基于实际拍摄的影像数据生成中间视点影像数据的扩展360视频数据记录装置3向扩展360视频数据再现装置21发送与中间视点相关的定义信息，因此，扩展360视频数据再现装置21能够通过参照该定义信息，根据对象场景的构造或者宽度来设定适合的中间视点。例如，在对象场景的构造复杂的情况下，中间视点设定部9在步骤S21中，设定高密度的中间视点，将该中间视点的定义信息发送至编码/复用部11。或者，在对象场景的构造简明的情况下，中间视点设定部9在步骤S21中，设定低密度的中间视点，将该中间视点的定义信息发送至编码/复用部11。

中间视点设定部9所生成的中间视点定义信息可以被定义为包括中间视点位置的确定所需的全部参数中的至少一部分参数的信息。作为这样的参数的例子，可以例举出表示坐标系或者栅格的种类的视点配置类型、栅格的位置、栅格的方向、视点间隔以及视点范围等。例如，中间视点设定部9根据既定的配置(平面正方形栅格或者简单立方栅格等)选择视点配置类型。此外，中间视点设定部9所生成的视点间隔可以是表示视点间的间隔的信息(例：正方形栅格的栅格点间隔)。此外，中间视点设定部9所生成的视点范围可以是表示配置有视点的空间的范围的信息。

〔实施方式2的总结〕

如上所述，本实施方式的扩展360视频数据记录装置3(相当于权利要求中的影像数据生成装置)对各个中间视点影像数据(中间360视频组)和与多个中间视点的定义相关的信息(中间视点定义信息)进行复用。由此，在参照中间视点影像数据生成目标视点影像数据时，能够通过参照中间视点定义信息，根据对象场景的构造或者宽度来设定适合的中间视点。

〔实施方式3〕

若基于附图对本发明的实施方式3进行说明，则如下所述。需要说明的是，对在实施方式1和实施方式2中说明过的与扩展360视频数据记录再现系统30所具备的部件具有相同功能的部件标注相同的符号，并省略其说明。

(扩展360视频数据记录再现系统30)

参照图17对本实施方式的扩展360视频数据记录再现系统30进行说明。图17的(a)是表示本发明的实施方式3的扩展360视频数据记录再现系统30的构成的框图。图17的(b)是表示本发明的实施方式3的扩展360视频数据再现部35或者扩展360视频数据再现部36的构成的框图。如图17的(a)所示，本实施方式的扩展360视频数据记录再现系统30包括：具有与实施方式1和实施方式2的扩展360视频数据记录装置3相同的构成的扩展360视频数据记录装置32和扩展360视频数据记录装置33；以及扩展360视频数据再现装置31。

(扩展360视频数据再现装置31)

扩展360视频数据再现装置31除了处理部34以外，具有与实施方式2的扩展360视频数据再现装置21相同的构成。处理部34具备：具备实施方式2的解码/解复用部15和视点影像生成部18的扩展360视频数据再现部35和扩展360视频数据再现部36；实施方式2的目标视点设定部17；以及视点影像选择部37。

视点影像选择部37基于目标视点设定部17所设定的目标视点位置，选择从各扩展360视频数据再现部输入的多个视点影像中的任一个，生成最终的目标视点影像数据。此外，也可以是，视点影像选择部37在比较中间视点定义和目标视点的基础上，控制解码/解复用部15以便仅对最终的目标视点影像数据的生成所需的中间360视频组进行解码。

(中间360视频组生成方法和目标视点影像生成方法)

参照图18，对由本实施方式的扩展360视频数据再现装置31实现的目标视点影像生成方法进行详细的说明。图18是对由本实施方式的扩展360视频数据再现装置31实现的目标视点影像生成方法的一个示例进行说明的流程图。需要说明的是，对于与实施方式1的扩展360视频组生成方法或者目标视点影像生成方法相同的工序，省略详细说明。

(目标视点影像生成方法)

以下，参照图16对本实施方式中的目标视点影像生成方法的各工序进行说明。

首先，接收部12接收扩展360视频数据记录装置32的通信部7所发送的扩展360视频数据和扩展360视频数据记录装置33的通信部7所发送的扩展360视频数据(步骤S40)。

扩展360视频数据再现部35的各解码/解复用部15和扩展360视频数据再现部36的各解码/解复用部15通过分别对接收部12所接收到的扩展360视频数据进行解码，对解码后的数据进行解复用，来生成中间360视频组和中间视点定义信息，读出所生成的中间视点定义信息而设定中间视点定义(步骤S41)。

目标视点设定部17设定目标视点(步骤S42)。

扩展360视频数据再现部35的视点影像生成部18和扩展360视频数据再现部36的视点影像生成部18分别参照解码/解复用部15所解复用的中间360视频组和解码/解复用部15所设定的中间视点定义，生成表示从目标视点设定部17所设定的目标视点观察的影像的目标视点影像数据(步骤S43)。

视点影像选择部37基于目标视点设定部17所设定的目标视点位置，选择扩展360视频数据再现部35的视点影像生成部18和扩展360视频数据再现部36的视点影像生成部18所生成的各目标视点影像数据中的任一个以上，生成最终的目标视点影像数据(步骤S44)。

显示部14显示视点影像选择部37所选择或者生成的目标视点影像数据所示的影像(步骤S44)。

需要说明的是，视点影像选择部37在最终的目标视点影像的选择中考虑到几个方法，因此，在以下进行例举。

(目标视点影像选择的例子1)

能够以选择根据接近于目标视点的中间视点合成的目标视点影像数据的方式构成视点影像选择部37。即，视点影像选择部37比较各中间视点定义信息和目标视点，选择与表示包括更接近于目标视点的中间视点的中间视点定义信息对应的视点影像。

例如，考虑在一方的中间360视频组(中间360视频组A)中，将水平方向的成分和垂直方向的成分为表示栅格方向的矢量的那样的平面上的栅格点作为相当于中间视点的数据，在另一方的360视频组(中间360视频组B)中，将水平方向的线段上的点，且被包含在更宽的水平方向的范围内的点作为相当于中间视点的数据的情况。

在目标视点的水平方向位置存在于在中间360视频组A中包含的中间视点的水平位置的范围内的情况下，视点影像选择部37选择使用中间360视频组A合成的视点影像。在除此以外的情况下，选择使用中间视频组B合成的视点影像。通过这样的视点影像的选择方法，能够将整体的中间视点的数量抑制得较少，并且能够在特定的范围内利用更接近于目标视点的位置的中间视点来合成目标视点影像。

(目标视点影像选择的例子2)

特定的中间视点定义信息在目标视点附近，在表示包括配置于间隔更窄的栅格点的中间视点的情况下，选择与该中间视点定义信息对应的视点影像。

例如，考虑将一方的中间360视频组(中间360视频组C)设为相当于窄的间隔的栅格点且配置于比较窄的空间范围的中间视点的数据，将另一方的中间360视频组(中间360视频组D)设为相当于宽的间隔的栅格点且配置于比较宽的空间范围的中间视点的数据的情况。

视点影像选择部37在与中间360视频组C对应的中间视点的范围内存在目标视点的情况下，选择使用中间360视频组C合成的视点影像，在除此以外的情况下，选择使用中间360视频组D合成的视点影像。由此，在拍摄对象场景的特定的范围内深度的变化较大的情况下，对于所有的目标视点位置，与利用间隔窄的中间视点的中间360视频组的情况相比，能够选择性地利用仅在特定的范围内间隔窄的中间视点、在除此以外的范围内间隔更宽的中间视点的中间360视频组，因此，能够抑制中间视点的总数而减少生成目标视点影像数据的处理(减少数据传输量)。

对上述所示的本实施方式中的目标视点影像生成方法和实施方式1中的目标视点影像生成方法的差异进行说明。首先，本实施方式中的方法在将通过两种以上的不同的中间视点组表现同一场景的数据组合来合成最终的视点影像的方面，与实施方式1中的方法不同。由此，通过适当地选择中间视点，能够生成所希望的画质或者数据量的目标视点影像数据。

〔实施方式3的总结〕

如上所述，本实施方式的扩展360视频数据再现装置31(权利要求中的影像数据生成装置)获取中间视点的定义分别不同的、中间视点影像数据的多个组，从该多个组中选择并参照一个以上的中间视点影像数据，生成目标视点影像数据。由此，通过适当地选择中间视点，能够生成所希望的画质或者数据量的目标视点影像数据。

〔变形例1：多个视点影像的再现〕

在上述各实施方式中，记载了对单一的目标视点，输出对应的一个视点影像的扩展360视频数据再现装置。可以将扩展360视频数据再现装置设为以下构成：设定多个目标视点，输出与各目标视点对应的多个视点影像。例如，在该构成中，设定左眼用和右眼用这两个目标视点位置，通过将左眼用和右眼用的各视点影像输出至HMD并进行再现能够实现立体化。〔变形例2：立体显示用的中间视点定义信息〕

也可以以在立体显示用中使用左眼用的扩展360视频数据和右眼用的扩展360视频数据的方式来构成扩展360视频数据记录再现系统。在该情况下，优选设为参照一方的眼睛(例如左眼)的中间视点定义信息来确定另一方的眼睛(例如右眼)的中间视点的构成。具体而言，设定规定的平面上的栅格点作为左眼的中间视点，设定从左眼的中间视点沿水平方向位移规定的距离(例如一般的左眼与右眼之间的距离)的位置作为右眼的中间视点。由此，能够减少用于指定右眼的中间视点的中间视点定义信息的数据量，并且提供特定的左眼的中间视点的状况下的右眼的中间视点的导出变得容易。

〔基于软件的实现例〕

视频数据记录装置3、32以及33和视频数据再现装置4、21以及31的控制块(特别是处理部8、13、22以及34)可以通过形成于集成电路(IC芯片)等的逻辑电路(硬件)来实现，也可以使用CPU(Central Processing Unit：中央处理器)通过软件来实现。

在后者的情况下，视频数据记录装置3、32以及33和视频数据再现装置4、21以及31具备：执行实现各功能的软件即程序的命令的CPU、计算机(或CPU)可读取地记录有上述程序以及各种数据的ROM(Read Only Memory：只读存储器)或存储装置(将它们称为“记录介质”)、以及扩展上述程序的RAM(Random Access Memory：随机存取存储器)等。然后，通过由计算机(或CPU)从上述存储介质读取并执行上述程序，达成本发明的目的。作为上述记录介质，可以使用“非暂时的有形介质”，例如磁带、磁盘、卡、半导体存储器、可编程逻辑电路等。此外，上述程序可以经由能传输该程序的任意传输介质(通信网络、广播波等)提供给上述计算机。需要说明的是，本发明的一个方案以上述程序通过电子传输而具体化的、嵌入至载波的数据信号的形态也能实现。

[总结]

本发明的方案1的影像数据生成装置(扩展360视频数据记录装置3、32、33)是生成影像数据的影像数据生成装置，具备：输入影像数据获取部(通信部7)，获取表示从各个相互不同的多个视点观察的影像的多个输入影像数据；以及中间视点影像数据生成部(中间360视频组生成部10)，参照上述多个输入影像数据中的至少任一个，生成表示以在一维以上的直线或者曲线坐标系中规则地配置于至少一维方向的多个中间视点的每一个为视点的影像的中间视点影像数据。

根据上述构成，在参照中间视点影像数据生成目标视点影像数据的影像数据生成装置中，能够基于规则地配置的多个中间视点生成目标视点影像，因此，与从相机影像直接生成视点影像的情况相比，能够简化目标视点影像的生成和再现。

在本发明的方案2的影像数据生成装置(扩展360视频数据记录装置3、32、33)中，可以是在上述方案1中，上述多个中间视点中的在上述至少一维方向上相邻的中间视点间的距离相等。

根据上述构成，能够容易地确定目标视点的附近的中间视点。

在本发明的方案3的影像数据生成装置(扩展360视频数据记录装置3、32、33)中，可以是在上述方案1或者2中，上述多个中间视点在二维以上的直线或者曲线坐标系中规则地配置于二维方向。

根据上述构成，能够更容易地确定目标视点的附近的中间视点。

在本发明的方案4的影像数据生成装置(扩展360视频数据记录装置3、32、33)中，可以是在上述方案1或者2中，上述多个中间视点在三维以上的直线或者曲线坐标系中规则地配置于三维方向。

根据上述构成，能够更容易地确定目标视点的附近的中间视点。

在本发明的方案5的影像数据生成装置(扩展360视频数据记录装置3、32、33)中，可以是在上述方案1～4中，上述多个中间视点的配置被限定于上述一维以上的直线或者曲线坐标系中的规定的范围内。

根据上述构成，能够减少在目标视点合成时未利用的图像信息。

在本发明的方案6的影像数据生成装置(扩展360视频数据记录装置3、32、33)中，可以是在上述方案5中，在上述规定的范围与其他方向相比在特定的方向上较宽的情况下，上述多个中间视点配置于沿着该特定的方向的直线上或者平面上。

根据上述构成，在目标视点合成时所需的中间视点在规定的范围内被适当地配置。

在本发明的方案7的影像数据生成装置(扩展360视频数据记录装置3、32、33)中，可以是在上述方案1～5中，上述中间视点影像数据生成部参照表示上述多个输入影像数据所示的各拍摄对象的深度的空间上的变化的大小的指标，该变化的大小越大，将上述多个中间视点中的在上述至少一维方向上相邻的中间视点间的距离设定得越窄。

根据上述构成，在拍摄对象的深度的空间上的变化的大小较小的情况下，通过将所需的中间视点的数量抑制得较少，能够减少中间视点影像数据的数据量。

在本发明的方案8的影像数据生成装置(扩展360视频数据记录装置3、32、33)中，可以是在上述方案1～7中，上述中间视点影像数据生成部参照上述多个输入影像数据中的至少任一个，基于拍摄上述影像的相机的各位置、该相机的参数、上述多个中间视点的各位置、与上述影像的各拍摄对象相关的场景模型信息来生成上述中间视点影像数据。

根据上述构成，能够生成符合实际的拍摄对象的中间视点影像数据。

在本发明的方案9的影像数据生成装置(扩展360视频数据记录装置3、32、33)中，可以是在上述方案1～8中，上述中间视点影像数据生成部优先地参照表示具有最接近于从目标中间视点向拍摄对象的方向的光轴的相机所拍摄的影像的输入影像数据，生成表示以该目标中间视点为视点的该拍摄对象的影像的上述中间视点影像数据。

根据上述构成，能够基于与实际的拍摄对象最近似的输入影像数据，生成中间视点影像数据。

在本发明的方案10的影像数据生成装置(扩展360视频数据记录装置3、32、33)中，可以是在上述方案1～9中，具备：复用部，对上述中间视点影像数据生成部所生成的各个中间视点影像数据进行复用。

根据上述构成，能够一并发送多个中间视点数据。

在本发明的方案11的影像数据生成装置(扩展360视频数据记录装置3、32、33)中，可以是在上述方案10中，上述复用部对上述中间视点影像数据生成部应用共同的映射而生成的上述各个中间视点影像数据进行复用。

根据上述构成，由于仅处理应用了共同的映射的影像即可，因此，能够简化目标视点合成处理。

在本发明的方案12的影像数据生成装置(扩展360视频数据记录装置3、32、33)中，可以是在上述方案10或者11中，上述复用部对表示以基准方向相同的中间视点为视点的影像的上述各个中间视点影像数据进行复用。

根据上述构成，由于仅处理以基准方向相同的中间视点为视点的影像即可，因此，能够简化目标视点合成处理。

在本发明的方案13的影像数据生成装置(扩展360视频数据记录装置3、32、33)中，可以是在上述方案10～12中，上述复用部对上述各个中间视点影像数据和分别将该各个中间视点影像数据和上述多个中间视点建立对应的映射图数据进行复用。

根据上述构成，由于能够容易地判别与任意的中间视点对应的影像，因此，能够简化目标视点合成处理。

在本发明的方案14的影像数据生成装置(扩展360视频数据记录装置3、32、33)中，可以是在上述方案10～13中，上述复用部对上述各个中间视点影像数据和表示上述多个中间视点的配置被限定于上述一维以上的直线或者曲线坐标系中的规定的范围内的信息进行复用。

根据上述构成，能够不对中间视点的位置进行解析地设定范围。

在本发明的方案15的影像数据生成装置(扩展360视频数据记录装置3、32、33)中，可以是在上述方案10～14中，上述复用部对上述各个中间视点影像数据和与上述多个中间视点的定义相关的信息进行复用。

根据上述构成，在参照中间视点影像数据来生成目标视点影像数据时，能够通过参照中间视点定义信息，根据对象场景的构造或者宽度来设定适合的中间视点。

本发明的方案16的影像数据生成装置(扩展360视频数据再现装置4、21、31)是生成表示从目标视点观察的影像的影像数据的影像数据生成装置，具备：中间视点影像数据获取部(接收部12)，获取表示以在一维以上的直线或者曲线坐标系中规则地配置于至少一维方向的多个中间视点每一个为视点的影像的中间视点影像数据；以及目标视点影像数据生成部(视点影像生成部18)，参照上述中间视点影像数据获取部所获取的中间视点影像数据来生成表示从上述目标视点观察的影像的目标视点影像数据。

根据上述构成，由于能够基于规则地配置的多个中间视点来生成目标视点影像，因此，与从相机影像直接生成视点影像的情况相比，能够简化目标视点影像的生成和再现。

在本发明的方案17的影像数据生成装置(扩展360视频数据再现装置4、21、31)中，可以是在上述方案16中，上述目标视点影像数据生成部参照表示以最接近于上述目标视点的位置的位置的1点或者2点的中间视点为视点的影像的中间视点影像数据，生成表示从该目标视点观察的影像的目标视点影像数据。

根据上述构成，能够生成以更近似于实际的视点的目标视点为视点的影像。

在本发明的方案18的影像数据生成装置(扩展360视频数据再现装置31)中，可以是在上述方案16或者17中，上述中间视点影像数据获取部获取中间视点的定义分别不同的、上述中间视点影像数据的多个组，

上述目标视点影像数据生成部选择一个以上的根据上述中间视点影像数据获取部所获取的上述多个组生成的多个目标视点影像，生成上述目标视点影像数据。

根据上述构成，能够通过适当地选择中间视点，生成所希望的画质或者处理负荷的目标视点影像数据。

本发明的方案19的影像再现装置(扩展360视频数据再现装置31)具备：上述方案16～18中的任一个影像数据生成装置；以及显示部，显示上述目标视点影像数据生成部所生成的上述目标视点影像数据所示的影像。

根据上述构成，能够显示目标视点影像数据所示的影像数据。

本发明的方案20的影像数据生成方法是由生成影像数据的影像数据生成装置实现的影像数据生成方法，包括：输入影像数据获取工序，获取表示从各个相互不同的多个视点观察的影像的多个输入影像数据；以及中间视点影像数据生成工序，参照上述多个输入影像数据中的至少任一个，生成表示以在一维以上的直线或者曲线坐标系中规则地配置于至少一维方向的多个中间视点的每一个为视点的影像的中间视点影像数据。

根据上述构成，起到与上述方案1相同的效果。

本发明的方案21的影像数据生成方法是由生成表示从目标视点观察的影像的影像数据的影像数据生成装置实现的影像数据生成方法，包括：中间视点影像数据获取工序，获取表示以在一维以上的直线或者曲线坐标系中规则地配置于至少一维方向的多个中间视点的每一个为视点的影像的中间视点影像数据；以及目标视点影像数据生成工序，参照在上述中间视点影像数据获取工序中获取的中间视点影像数据来生成表示从上述目标视点观察的影像的目标视点影像数据。

根据上述构成，起到与上述方案16相同的效果。

本发明的各方案的影像数据生成装置可以通过计算机来实现，在该情况下，通过使计算机作为上述影像数据生成装置所具备的各部分(软件要素)进行动作而使上述影像数据生成装置由计算机实现的影像数据生成装置的控制程序、以及记录有该控制程序的计算机可读记录介质也落入本发明的范畴。

本发明并不限定于上述的各实施方式，在权利要求所示的范围内可进行各种变更，将分别在不同的实施方式中公开的技术方案适当组合而获得的实施方式也包含在本发明的技术范围内。而且，通过将分别在各实施方式中公开的技术方案组合，能形成新的技术特征。

(相关申请的交叉引用)

本申请基于2017年4月5日提出申请的日本专利申请：日本特愿2017-075361主张优先权的利益，并通过对其进行参照而将其全部内容包括到本说明书中。

符号说明

1、30扩展360视频数据记录再现系统

2拍摄装置

3、32、33扩展360视频数据记录装置

4、21、31扩展360视频数据再现装置

5拍摄部

6发送部

7通信部

8、13、22、34处理部

9、16中间视点设定部

10中间360视频组生成部

11编码/复用部

12接收部

14显示部

15解码/解复用部

17目标视点设定部

18视点影像生成部

35、36扩展360视频数据再现部

37视点影像选择部

Claims (25)

1.一种影像数据生成装置，生成影像数据，其特征在于，具备：

输入影像数据获取部，获取表示从各个相互不同的多个视点观察的影像的多个输入影像数据；以及

中间视点影像数据生成部，参照所述多个输入影像数据中的至少任一个，生成表示以在一维以上的直线或者曲线坐标系中规则地配置于至少一维方向的多个中间视点的每一个为视点的影像的中间视点影像数据。

2.根据权利要求1所述的影像数据生成装置，其特征在于，

所述多个中间视点中的在所述至少一维方向上相邻的中间视点间的距离相等。

3.根据权利要求1或2所述的影像数据生成装置，其特征在于，

所述多个中间视点在二维以上的直线或者曲线坐标系中规则地配置于二维方向。

4.根据权利要求1或2所述的影像数据生成装置，其特征在于，

所述多个中间视点在三维以上的直线或者曲线坐标系中规则地配置于三维方向。

5.根据权利要求1～4中任一项所述的影像数据生成装置，其特征在于，

所述多个中间视点的配置限定于所述一维以上的直线或者曲线坐标系中的规定的范围内。

6.根据权利要求5所述的影像数据生成装置，其特征在于，

在所述规定的范围与其他方向相比在特定的方向上较宽的情况下，所述多个中间视点被配置于沿着所述特定的方向的直线上或者平面上。

7.根据权利要求1～5中任一项所述的影像数据生成装置，其特征在于，

所述中间视点影像数据生成部参照表示所述多个输入影像数据所示的各拍摄对象的深度的空间上的变化的大小的指标，所述变化的大小越大，将所述多个中间视点中的在所述至少一维方向上相邻的中间视点间的距离设定得越窄。

8.根据权利要求1～7中任一项所述的影像数据生成装置，其特征在于，

所述中间视点影像数据生成部参照所述多个输入影像数据中的至少任一个，基于拍摄到所述影像的相机的各位置、所述相机的参数、所述多个中间视点的各位置、与所述影像的各拍摄对象相关的场景模型信息，生成所述中间视点影像数据。

9.根据权利要求1～8中任一项所述的影像数据生成装置，其特征在于，

所述中间视点影像数据生成部优先地参照表示具有最接近于从目标中间视点向拍摄对象的方向的光轴的相机所拍摄的影像的输入影像数据，生成表示以所述目标中间视点为视点的所述拍摄对象的影像的所述中间视点影像数据。

10.根据权利要求1～9中任一项所述的影像数据生成装置，其特征在于，

具备：复用部，对所述中间视点影像数据生成部所生成的各个中间视点影像数据进行复用。

11.根据权利要求10所述的影像数据生成装置，其特征在于，

所述复用部对所述中间视点影像数据生成部应用共同的映射而生成的所述各个中间视点影像数据进行复用。

12.根据权利要求10或11所述的影像数据生成装置，其特征在于，

所述复用部对表示以基准方向相同的中间视点为视点的影像的所述各个中间视点影像数据进行复用。

13.根据权利要求10～12中任一项所述的影像数据生成装置，其特征在于，

所述复用部对所述各个中间视点影像数据和分别将所述各个中间视点影像数据与所述多个中间视点建立对应的映射图数据进行复用。

14.根据权利要求10～13中任一项所述的影像数据生成装置，其特征在于，

所述复用部对所述各个中间视点影像数据和表示所述多个中间视点的配置被限定于所述一维以上的直线或者曲线坐标系中的规定的范围内的信息进行复用。

15.根据权利要求10～14中任一项所述的影像数据生成装置，其特征在于，

所述复用部对所述各个中间视点影像数据和与所述多个中间视点的定义相关的信息进行复用。

16.一种影像数据生成装置，生成表示从目标视点观察的影像的影像数据，其特征在于，具备：

中间视点影像数据获取部，获取表示以在一维以上的直线或者曲线坐标系中规则地配置于至少一维方向的多个中间视点的每一个为视点的影像的中间视点影像数据；以及

目标视点影像数据生成部，参照所述中间视点影像数据获取部所获取的中间视点影像数据来生成表示从所述目标视点观察的影像的目标视点影像数据。

17.根据权利要求16所述的影像数据生成装置，其特征在于，

所述目标视点影像数据生成部参照表示以最接近于所述目标视点的位置的位置的1点或者2点的中间视点为视点的影像的中间视点影像数据，生成表示从所述目标视点观察的影像的目标视点影像数据。

18.根据权利要求16或17所述的影像数据生成装置，其特征在于，

所述中间视点影像数据获取部获取中间视点的定义分别不同的、所述中间视点影像数据的多个组，

所述目标视点影像数据生成部选择根据所述中间视点影像数据获取部所获取的所述多个组生成的多个目标视点影像中的一个以上的目标视点影像，生成所述目标视点影像数据。

19.一种影像再现装置，其中，具备：

所述权利要求16～18中任一项所述的影像数据生成装置；以及

显示部，显示所述目标视点影像数据生成部所生成的所述目标视点影像数据所示的影像。

20.一种影像数据生成方法，由生成影像数据的影像数据生成装置来实现，其特征在于，包括：

输入影像数据获取工序，获取表示从各个相互不同的多个视点观察的影像的多个输入影像数据；以及

中间视点影像数据生成工序，参照所述多个输入影像数据中的至少任一个，生成表示以在一维以上的直线或者曲线坐标系中规则地配置于至少一维方向的多个中间视点的每一个为视点的影像的中间视点影像数据。

21.一种影像数据生成方法，由生成表示从目标视点观察的影像的影像数据的影像数据生成装置来实现，其特征在于，包括：

中间视点影像数据获取工序，获取表示以在一维以上的直线或者曲线坐标系中规则地配置于至少一维方向的多个中间视点的每一个为视点的影像的中间视点影像数据；以及

目标视点影像数据生成工序，参照在所述中间视点影像数据获取工序中获取到的中间视点影像数据来生成表示从所述目标视点观察的影像的目标视点影像数据。

22.一种控制程序，用于使计算机作为权利要求1所述的影像数据生成装置发挥功能，其中，

用于使计算机作为所述输入影像数据获取部以及所述中间视点影像数据生成部发挥功能。

23.一种控制程序，用于使计算机作为权利要求16所述的影像数据生成装置发挥功能，其中，

用于使计算机作为所述中间视点影像数据获取部以及所述目标视点影像数据生成部发挥功能。

24.一种计算机可读记录介质，其记录权利要求22所述的控制程序。

25.一种计算机可读记录介质，其记录权利要求23所述的控制程序。