CN110832553A - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明涉及使3D模型的数据能够以每个对象为基础进行发送的图像处理装置和图像处理方法。该图像处理装置设置有：3D模型选择单元，其从多个3D模型对象中选择满足预定条件的对象；以及发送单元，其发送所选择的对象的3D模型数据。本发明可以应用于例如经由网络发送3D模型的3D模型数据的设备等。

Description

图像处理装置和图像处理方法

技术领域

本技术涉及图像处理装置和图像处理方法，并且具体地涉及能够以对象为单位发送3D模型的数据的图像处理装置和图像处理方法。

背景技术

在计算机图形学中，作为减小本地终端的处理负荷的一种措施，存在一种称为“视锥剔除”的方法，该方法仅渲染在显示器上显示的视锥中的模型。已经提出了用于服务器客户端系统的使用这种视锥剔除方法的技术(例如，参考专利文献1)。

引用列表

专利文献

专利文献1：US 2013/321593 A1

发明内容

本发明要解决的问题

然而，当发送3D模型时，没有考虑以对象为单位发送3D模型。

考虑到这种情况已经作出了本技术，并且本技术能够以对象为单位发送3D模型的数据。

问题的解决方案

根据本技术的第一方面的图像处理装置包括：3D模型选择单元，其从多个3D模型的对象中选择满足预定条件的对象；以及发送单元，其发送所选择的对象的3D模型数据。

根据本技术的第一方面的图像处理方法包括以下步骤：由图像处理装置，从多个3D模型的对象中选择满足预定条件的对象，以及发送所选择的对象的3D模型数据。

在本技术的第一方面中，从多个3D模型的对象中选择满足预定条件的对象，并且发送所选择的对象的3D模型数据。

根据本技术的第二方面的图像处理装置包括：接收单元，其接收从多个3D模型的对象中选择为满足预定条件的对象的对象的3D模型数据；以及绘图单元，其基于所接收的对象的3D模型数据生成根据虚拟摄像装置的视点的对象的显示图像。

根据本技术的第二方面的图像处理方法包括以下步骤：由图像处理装置，接收从多个3D模型的对象中选择为满足预定条件的对象的对象的3D模型数据；以及基于所接收的对象的3D模型数据，生成根据虚拟摄像装置的视点的对象的显示图像。

在本技术的第二方面中，接收从多个3D模型的对象中选择为满足预定条件的对象的对象的3D模型数据，并且基于接收到的对象的3D模型数据生成根据虚拟摄像装置的视点的对象的显示图像。

注意，可以通过使计算机执行程序来实现根据本技术的第一方面和第二方面的图像处理装置。

此外，可以通过经由传输介质发送程序或者将程序记录在记录介质中来提供由计算机执行以实现根据本技术的第一方面和第二方面的图像处理装置的程序。

注意，可以通过经由传输介质发送程序或者将程序记录在记录介质中来提供程序。

注意，图像处理装置可以是独立设备或者形成单个设备的内部块。

本发明的效果

根据本技术的第一方面，可以以对象为单位发送3D模型的数据。

根据本技术的第二方面，可以接收并且显示以对象为单位发送的3D模型的数据。

注意，本文中描述的效果不必然是限制性的，并且效果可以是本公开中描述的任何效果。

附图说明

图1是用于说明应用了本技术的图像处理系统的概要的图。

图2是用于说明应用了本技术的图像处理系统的概要的图。

图3是点云格式的几何信息的示例的图。

图4是应用了本技术的图像处理系统的示例性配置的框图。

图5是选择设备的第一实施方式的示例性配置的框图。

图6是用于说明图5中的3D模型选择单元的处理的图。

图7是用于说明图5中的3D模型选择单元的处理的图。

图8是用于说明第一对象选择处理的流程图。

图9是选择设备的第二实施方式的示例性配置的框图。

图10是用于说明第二实施方式中的对象指定信息的图。

图11是用于说明图9中的3D模型选择单元的处理的图。

图12是用于说明第二对象选择处理的流程图。

图13是选择设备的第三实施方式的示例性配置的框图。

图14是用于说明图13中的图像选择单元的处理的图。

图15是用于说明图13中的图像选择单元的处理的图。

图16是用于说明第三对象选择处理的流程图。

图17是选择设备的第四实施方式的示例性配置的框图。

图18是用于说明切出单元的切出处理的图。

图19是用于说明切出单元的切出处理的图。

图20是用于说明切出单元的切出处理的图。

图21是用于说明切出处理的流程图。

图22是用于说明对象区域的图。

图23是用于说明切出信息元数据的图。

图24是切出信息元数据的具体示例的图。

图25是用于说明第四对象选择处理的流程图。

图26是选择设备的第五实施方式的示例性配置的框图。

图27是用于说明用于再现的数据的选择处理的流程图。

图28是用于说明计算重要度P(i)的方法的图。

图29是用于说明计算重要度P(i)的方法的图。

图30是用于说明计算重要度P(i)的方法的图。

图31是用于说明打包处理(packing processing)的流程图。

图32是打包布局的示例的图。

图33是不是格子状布局的打包布局的示例的图。

图34是打包区域元数据的具体示例的图。

图35是打包信息元数据的示例的图。

图36是用于说明打包图像的生成的图。

图37是用于说明切出图像的缩放的图。

图38是用于说明第五对象选择处理的流程图。

图39是选择设备的第六实施方式的示例性配置的框图。

图40是用于说明发送图像选择处理的图。

图41是用于说明第六对象选择处理的流程图。

图42是选择设备的第七实施方式的示例性配置的框图。

图43是用于说明深度图像的图。

图44是切出信息元数据的示例的图。

图45是用于说明最小值zmin和最大值zmax的图。

图46是用于说明第七对象选择处理的流程图。

图47是用于说明分发处理的流程图。

图48是用于说明再现处理的流程图。

图49是应用了本公开的计算机的示例性配置的框图。

图50是车辆控制系统的示例性示意性配置的框图。

图51是外部信息检测单元和成像单元的示例性设置位置的说明图。

具体实施方式

下面将描述用于实施本技术的实施方式(以下称为“实施方式”)。注意，将按以下顺序进行描述。

1.实施方式的概要

2.图像处理系统的示例性配置

3.选择设备的第一实施方式(选择设备24A)

4.选择设备的第二实施方式(选择设备24B)

5.选择设备的第三实施方式(选择设备24C)

6.选择设备的第四实施方式(选择设备24D)

7.选择设备的第五实施方式(选择设备24E)

8.选择设备的第六实施方式(选择设备24F)

9.选择设备的第七实施方式(选择设备24G)

10.分发处理和再现处理

11.计算机的示例性配置

12.应用示例

<1.实施方式的概要>

首先，将参照图1和图2描述应用了本技术的图像处理系统的概要。

应用了本技术的图像处理系统包括：分发侧，该分发侧根据通过经由多个成像设备对对象进行成像而获得的捕获图像生成对象的3D模型，并且分发所生成的3D模型；以及再现侧，该再现侧接收从分发侧发送的3D模型，并且再现和显示3D模型。

分发侧可以通过经由多个成像设备从外周对预定成像空间进行成像来获得多个捕获图像。捕获图像包括例如运动图像。每个成像设备包括距离测量设备，并且除了被摄体(subject)的纹理信息之外，还可以测量距被摄体的距离。然后，通过使用从不同方向的多个成像设备获得的捕获图像，生成要在成像空间中显示的多个对象的3D模型。对象的3D模型的生成被称为“3D模型的重构”，因为从由多个成像设备获得的多个捕获图像和距离信息组合同一对象的交叠区域的纹理信息和距离信息，或者通过补充由其他成像设备获得的纹理信息和距离信息来重构单个成像设备不能观看到的区域的纹理信息和距离信息。

在图1的示例中，示出了如下示例：成像空间被设置在足球场的场地中，并且在作为场地的外周的场边设置的多个成像设备对场地上的球员等进行成像。通过重构3D模型，例如，提取场地上的球员、裁判员、足球、足球球门等作为对象，并且生成(重构)每个对象的3D模型。

所生成的大量对象的3D模型的数据(以下称为“3D模型数据”)被存储在预定存储设备中。稍后将参照图2描述3D模型数据的数据格式。

然后，响应于再现侧的请求，发送在存储在预定存储设备中的成像空间中存在的大量对象中的预定对象的3D模型，并且再现侧再现和显示3D模型。

再现侧仅请求成像空间中存在的大量对象中的要观看的对象，并且将该对象显示在显示设备上。例如，再现侧假设成像范围是观看者的观看范围的虚拟摄像装置，仅请求在成像空间中存在的大量对象中的由该虚拟摄像装置捕获的对象，并且将该对象显示在显示设备上。虚拟摄像装置的视点可以被设置到任意位置，以便观看者可以从真实世界中的任意视点看到场地。

在图1的示例中，在作为所生成的对象的大量球员中，仅被方框包围的三个球员被显示在显示设备上。

在图2中，示出了3D模型数据的数据格式的示例。

各种格式可以用作3D模型数据的数据格式。

数据格式中的一种是将对象的几何信息(形状信息)表示为对象的三维位置的点(顶点)的集合(点组)并且保存与每个点对应的对象的颜色信息的格式。以这种格式，针对一个对象，保存单条几何信息和单条颜色信息。在本实施方式中，该格式被描述为点云格式。

图3示出了点云格式的几何信息的示例。

在图3中用虚线表示的区域中，针对每一行列出了与对象的一个点的x坐标、y坐标和z坐标对应的三条数据。

另一种数据格式是这样的格式：对象的几何信息由与点云格式中的点的集合(点组)类似的点的集合(点组)或者被称为多边形网格的顶点之间的连接来表示，并且对象的颜色信息被保存为由每个成像设备成像的捕获图像(二维纹理图像)。以这种格式，针对一个对象，保存单条几何信息以及包括与成像设备的数目一样多的捕获图像(二维纹理图像)的颜色信息。在本实施方式中，该格式被描述为多纹理几何格式。

又一种数据格式是这样的格式：对象的几何信息由多边形网格表示，并且与每个多边形网格对应地保存对象的颜色信息。作为要附加到每个多边形网格的颜色信息的二维纹理图像由UV坐标系表示。以这种格式，针对一个对象，保存单条几何信息以及包括单个二维纹理图像的颜色信息。在本实施方式中，该格式被描述为UV纹理几何格式。UV纹理几何格式是由MPEG-4动画框架扩展(AFX)标准化的格式。

再一种数据格式是这样的格式：对象的几何信息由与由每个成像设备成像的捕获图像对应的距离信息表示，并且对象的颜色信息被保存为由每个成像设备成像的捕获图像(二维纹理图像)。作为与由每个成像设备成像的捕获图像对应的距离信息，采用深度图像，该深度图像与捕获图像的每个像素相关联地存储在深度方向上距被摄体的距离作为深度值。以这种格式，对于一个对象，保存包括与成像设备的数目一样多的深度图像的几何信息以及包括与成像设备的数目一样多的捕获图像(二维纹理图像)的颜色信息。在本实施方式中，该格式被描述为多纹理深度格式。多纹理深度格式的优点在于，在发送3D模型数据的情况下，可以使用高级视频编码(AVC)方法、高效视频编码(HEVC)方法等作为编码方法，并且可以高效地压缩3D模型数据。

点云格式和UV纹理几何格式是颜色信息相同而与虚拟摄像装置的位置(虚拟视点)无关的视点无关格式(View Independent format)。

另一方面，多纹理几何格式和多纹理深度格式是颜色信息可以根据虚拟摄像装置的位置(虚拟视点)而改变的视点相关格式(View Dependent format)。

采用如上所述的3D模型数据的各种数据格式中的任意数据格式。再现侧可以指定数据格式，并且分发侧可以确定数据格式。此外，可以针对每个应用预先确定数据格式。

<2.图像处理系统的示例性配置>

图4是应用了本技术的图像处理系统的示例性配置的框图。

图4中的图像处理系统10包括成像设备21-1至21-N(N＞1)、重构设备22、存储设备23、选择设备24、编码设备25以及发送和接收设备26作为图1中描述的分发侧。

此外，图像处理系统10包括再现设备28和显示设备29作为图1中描述的再现侧。分发侧的发送和接收设备26和再现侧的再现设备28经由网络27连接。

成像设备21(成像设备21-1至21-N)被布置在预定成像空间的外周上的预定位置处，对成像空间进行成像，并且将作为成像结果而获得的运动图像提供给重构设备22。在以下描述中，除非另外说明，否则将以成像设备21的数目为七的情况作为示例进行描述。

成像设备21包括距离测量设备，除了被摄体的纹理图像(纹理信息)之外，成像设备21还可以测量距被摄体的距离，可以生成根据与纹理图像的视点相同的视点的深度图像的运动图像，并且将该运动图像提供给重构设备22。

各个成像设备21-1至21-N被布置在不同的位置处，并且从与其他成像设备21的方向不同的方向对成像空间进行成像。已知每个成像设备21在世界坐标系上的位置，并且每个成像设备21的摄像装置参数(外部参数和内部参数)被提供给重构设备22。

重构设备22通过使用从成像设备21-1至21-N中的每一个提供的成像空间中的深度图像的运动图像和纹理图像，对于在成像空间中存在的大量对象，针对每个对象生成3D模型，并且将所生成的每个对象的3D模型的数据(以下称为“3D模型数据”)提供给存储设备23。

存储设备23存储由重构设备22生成的每个对象的3D模型数据。在存储设备23中，每个对象的3D模型数据可以以包括参照图2描述的点云格式、UV纹理几何格式、多纹理几何格式和多纹理深度格式在内的所有格式存储。在数据格式由图像处理系统10的应用指定的情况下，至少以指定的数据格式存储3D模型数据。

在本实施方式中，出现在由多个成像设备21成像的运动图像中的成像空间中的被摄体中的任何一个可以被用作其3D模型被生成的目标对象。可以使用任何方法来确定对象，并且运动图像中的预定被摄体被确定为对象并且与其他对象适当地分离，并且生成其3D模型。

此外，重构设备22根据每个成像设备21的摄像装置参数来计算其3D模型数据被生成的每个对象的全球定位信息(以下称为“全球定位信息”)，并且使存储设备23将计算出的信息连同每个成像设备21的摄像装置参数一起存储。

换言之，在本实施方式中，假设可以被发送到再现设备28的多个对象的3D模型按每个对象适当地分离，并且世界坐标系上的位置以已知状态被存储在存储设备23中。

选择设备24基于通过由再现设备28指定预定对象而做出的对象指定信息，从存储在存储设备23中的多个对象中选择预定对象，并且将所选择的对象的3D模型数据提供给编码设备25。发送和接收设备26经由网络27从再现设备28接收对象指定信息，并且对象指定信息从发送和接收设备26被提供给选择设备24。

编码设备25例如利用诸如AVC方法和HEVC方法的预定编码方法对从选择设备24提供的预定对象的3D模型数据进行编码。通过编码获得的3D模型的编码流被提供给发送和接收设备26。

发送和接收设备26经由网络27将从编码设备25提供的3D模型的编码流发送到再现设备28。此外，发送和接收设备26经由网络27接收(获取)从再现设备28发送的对象指定信息，并且将接收到的信息提供给选择设备24。

注意，分发侧的重构设备22、存储设备23、选择设备24、编码设备25以及发送和接收设备26可以被单独地形成，并且两个或更多个设备可以被集成。例如，如图4中的虚线所示，存储设备23、选择设备24、编码设备25以及发送和接收设备26可以形成单个分发设备。在这种情况下，存储设备23、选择设备24、编码设备25以及发送和接收设备26分别构成分发设备的存储单元、选择单元、编码单元以及发送和接收单元。。

网络27是例如因特网、电话线网络、卫星通信网络、包括以太网(注册商标)的各种局域网(LAN)、广域网(WAN)、诸如因特网协议-虚拟专用网(IP-VPN)的专用线网络等。

再现设备28包括发送和接收单元41、解码单元42、绘图单元43、虚拟视点检测单元44和输入单元45。

再现设备28的发送和接收单元41接收(获取)从发送和接收设备26提供的通过对每个对象的3D模型数据进行编码而获得的编码流，并且将该编码流提供给解码单元42。此外，发送和接收单元41从虚拟视点检测单元44获取用于指定预定对象的对象指定信息，并且经由网络27将该对象指定信息发送到发送和接收设备26。

解码单元42利用与编码设备25的编码方法对应的方法对从发送和接收单元41提供的编码流进行解码。解码单元42将通过解码而获得的一个或更多个对象的3D模型数据提供给绘图单元43。

绘图单元43基于从解码单元42提供的一个或更多个对象的3D模型数据，生成根据虚拟摄像装置的视点的对象的图像(对象图像)作为显示图像，并且将该显示图像提供给显示设备29。虚拟视点检测单元44将指示基于虚拟摄像装置的视点的观看范围的虚拟摄像装置观看范围信息提供给绘图单元43，并且通过在虚拟摄像装置的观看范围内对从解码单元42提供的一个或更多个对象的3D模型执行透视投影，生成根据虚拟摄像装置的视点的对象的图像。

虚拟视点检测单元44检测虚拟摄像装置的视点，生成指示基于虚拟摄像装置的视点的观看范围的虚拟摄像装置观看范围信息，并且将该信息提供给绘图单元43。此外，虚拟视点检测单元44生成用于指定在虚拟摄像装置的观看范围内存在的一个或更多个对象的对象指定信息，并且将所生成的信息提供给发送和接收单元41。虚拟视点检测单元44可以通过对附接到作为显示设备29的头戴式显示器的标记等进行成像来检测观看者的观看位置和观看范围。

输入单元45包括诸如控制器和鼠标的输入设备。输入单元45接收例如观看者对观看位置的指示、要显示的对象的指定等。由输入单元45接收的各种输入信息根据需要被提供给再现设备28中的每一个单元。

显示设备29包括例如二维头戴式显示器(HMD)、二维监视器等。显示设备29以二维方式显示从绘图单元43提供的显示图像。

注意，显示设备29可以包括三维头戴式显示器、三维监视器等。在这种情况下，绘图单元43除了提供显示图像之外还提供深度图像，并且显示设备29基于从绘图单元43提供的显示图像和深度图像来三维地显示显示图像。

在如上所述的那样配置的图像处理系统10中，选择设备24从存储在存储设备23中的成像空间中包括的所有对象中仅选择满足预定条件的对象，并且将所选择的对象的3D模型数据发送到再现设备28。

再现设备28获取存储在存储设备23中的成像空间中包括的所有对象中的满足预定条件的对象的3D模型数据，基于所获取的对象的3D模型数据来生成对象图像，并且使显示设备29显示该对象图像。

通过由分发侧和再现侧仅发送在成像空间中包括的所有对象中的显示所需的对象的3D模型数据，可以减小再现侧的处理负荷并且减小传输频带，同时确保观看者观看的对象图像的图像质量。

注意，这里，仅视频信息将被描述为要从分发侧发送到再现侧的发送数据，并且省略了关于语音信息的描述。然而，还发送与运动图像对应的语音信息。

在下文中，将详细描述可以用作选择设备24的各种配置。

<3.选择设备的第一实施方式>

(选择设备的示例性配置)

图5示出了作为选择设备24的第一实施方式的选择设备24A的示例性配置。

选择设备24A包括3D模型选择单元61A。

在选择设备24A中，采用点云格式和UV纹理几何格式中的一种或两种作为3D模型数据的数据格式。

存储在存储设备23中的所有对象的3D模型数据和作为用于标识每个对象的标识信息的对象ID被提供给选择设备24A作为输入数据。

由于3D模型数据的数据格式是点云格式和UV纹理几何格式中的一种或两种，因此3D模型数据是下述中的一种或两种：由点的集合(点组)表示的几何信息和每个点的颜色信息；以及由多边形网格表示的几何信息以及每个多边形网格的颜色信息。

此外，选择设备24A接收从再现设备28提供的作为对象指定信息的虚拟摄像装置观看范围信息，并且该虚拟摄像装置观看范围信息是关于基于虚拟摄像装置的视点的观看范围的信息。虚拟摄像装置观看范围信息包括例如虚拟摄像装置的外部参数和内部参数、指示视锥的前裁剪平面的近(Near)信息以及指示视锥的后裁剪平面的远(Far)信息。

如图6所示，3D模型选择单元61A基于从再现设备28提供的虚拟摄像装置观看范围信息来确定是否存储在存储设备23中的所有对象中的每一个对象均被包括在虚拟摄像装置70的观看范围内，具体地，是否均被包括在由阴影指示的视锥71内，并且选择(确定)要发送的3D模型的对象。

更具体地，3D模型选择单元61A将对象中包括的每个顶点的顶点信息投影到虚拟摄像装置70的成像平面72上，并且在与顶点信息对应的UV坐标中的至少一个被包括在虚拟摄像装置70的成像平面72中的情况下，3D模型选择单元61A将该对象确定为其3D模型数据要被发送到再现设备28的对象。另一方面，在与各个顶点的顶点信息对应的所有UV坐标均没有被包括在虚拟摄像装置70的成像平面72中的情况下，该对象被确定为其3D模型数据不被发送到再现设备28的对象。

在图6的示例中，由于投影了对象73-1的投影平面74-1被包括在虚拟摄像装置70的成像平面72中，因此对象73-1被确定为要发送的对象。由于投影了对象73-2的投影平面74-2不被包括在虚拟摄像装置70的成像平面72中，因此对象73-2被确定为不发送的对象。虚拟摄像装置70的成像平面72由UV坐标系表示。

3D模型选择单元61A将被选择为要发送到再现设备28的3D模型的对象的对象的对象ID和3D模型数据作为输出数据输出到编码设备25。

注意，在对存储在存储设备23中的所有对象执行用于将关于每个对象的所有顶点的信息投影到虚拟摄像装置70的成像平面72上的处理的情况下，处理负荷很大。

因此，例如，预先计算每个对象的全球定位信息的代表值并且将该代表值存储在存储设备23中，并且仅将该代表值投影在虚拟摄像装置70的成像平面72上。然后，可以确定对象是否是要发送的3D模型的对象。作为对象的全球定位信息的代表值，例如，可以使用关于对象的所有顶点的信息的平均值等。

替选地，如图7所示，作为每个对象的全球定位信息的代表值，预先针对每个对象计算边界框，并且将该边界框存储在存储设备23中，并且将边界框的顶点投影到虚拟摄像装置70的成像平面72上。然后，可以确定对象是否是要发送的3D模型的对象。

图7示出下述示例：对象73-1的边界框75-1以及对象73-2的边界框75-2被投影在虚拟摄像装置70的成像平面72上。

(第一对象选择处理)

图8是用于说明选择设备24A的对象选择处理(第一对象选择处理)的流程图。例如，当经由发送和接收设备26从再现设备28提供虚拟摄像装置观看范围信息时，开始该处理。

首先，在步骤S11中，3D模型选择单元61A经由发送和接收设备26获取从再现设备28提供的基于虚拟摄像装置70的视点的虚拟摄像装置观看范围信息。

在步骤S12中，3D模型选择单元61A获取存储在存储设备23中的所有对象的用于标识对象的对象ID和3D模型数据。

在步骤S13中，3D模型选择单元61A将从存储设备23获取的所有对象中的预定对象设置为目标对象。

在步骤S14中，3D模型选择单元61A确定目标对象是否被包括在虚拟摄像装置70的观看范围内。

更具体地，3D模型选择单元61A将关于目标对象中包括的所有顶点的信息投影在虚拟摄像装置70的成像平面72上，并且确定与各条顶点信息对应的UV坐标中的至少一个是否被包括在虚拟摄像装置70的成像平面72中。

替选地，在简单计算的情况下，3D模型选择单元61A将目标对象的全球定位信息的代表值投影在虚拟摄像装置70的成像平面72上，并且确定与该代表值对应的UV坐标中的至少一个是否被包括在虚拟摄像装置70的成像平面72中。

在步骤S14中确定目标对象被包括在虚拟摄像装置70的观看范围内的情况下，处理进行到步骤S15，并且3D模型选择单元61A将目标对象确定为其3D模型数据要被发送到再现设备28的发送对象。在步骤S16中，3D模型选择单元61A将发送对象的对象ID和3D模型数据输出到编码设备25。

另一方面，在步骤S14中确定目标对象不被包括在虚拟摄像装置70的观看范围内的情况下，跳过步骤S15和S16。

在步骤S17中，3D模型选择单元61A确定是否从存储设备23获取的所有对象均被设置为目标对象。

在步骤S17中确定尚未将所有对象均设置为目标对象的情况下，处理返回到步骤S13，并且重复步骤S13至S17中的处理。换言之，将尚未被设置为目标对象的对象设置为下一个目标对象，并且确定上述对象是否是虚拟摄像装置70的观看范围中包括的对象。

另一方面，在步骤S17中确定所有对象都已经被设置为目标对象的情况下，第一对象选择处理终止。

根据第一对象选择处理，由于虚拟摄像装置70的观看范围内的对象的3D模型数据被发送到再现设备28，因此可以通过仅发送生成显示图像所需的对象的3D模型数据来减小传输频带。

<4.选择设备的第二实施方式>

(选择设备的示例性配置)

图9示出了作为选择设备24的第二实施方式的选择设备24B的示例性配置。

选择设备24B包括3D模型选择单元61B。

在选择设备24B中，采用点云格式和UV纹理几何格式中的一种或两种作为3D模型数据的数据格式。因此，如在第一实施方式中那样，3D模型数据是下述中的一种或两种：由点的集合(点组)表示的几何信息和每个点的颜色信息；以及由多边形网格表示的几何信息以及每个多边形网格的颜色信息。

在第二实施方式中，不是将基于虚拟摄像装置的视点的虚拟摄像装置观看范围信息而是将由观看者指定作为显示目标的对象的对象ID、作为对象指定信息从再现设备28提供给选择设备24B。

因此，首先，如图10的A所示，3D模型选择单元61B将存储在存储设备23中的所有对象的对象ID和全球定位信息发送到再现设备28。

如图10的B所示，作为每个对象的全球定位信息，例如，可以采用边界框的顶点的x坐标的最小值xmin和最大值xmax、y坐标的最小值ymin和最大值ymax以及z坐标的最小值zmin和最大值zmax。

不是将第一实施方式中的基于虚拟摄像装置的视点的虚拟摄像装置观看范围信息而是将由观看者指定的一个或更多个对象的对象ID作为对象指定信息从再现设备28发送到选择设备24B。

例如，如图11所示，假设作为对象ID的指示1、3和5的对象指定信息从再现设备28发送到选择设备24B。

选择设备24B的3D模型选择单元61B基于从再现设备28发送的对象指定信息，确定具有对象ID 1、3和5的对象作为其3D模型数据要被发送到再现设备28的发送对象。然后，3D模型选择单元61B从存储设备23获取被确定为发送对象的每个对象的3D模型数据，换言之，获取几何信息和颜色信息，并且将所获取的信息提供给编码设备25。

注意，在第二实施方式中，可以省略从再现设备28获取虚拟摄像装置观看范围信息。

(第二对象选择处理)

图12是用于说明选择设备24B的对象选择处理(第二对象选择处理)的流程图。例如，当打开再现设备28并且观看者执行用于开始再现的操作时，开始该处理。

首先，在步骤S31中，3D模型选择单元61B获取存储在存储设备23中的所有对象的对象ID和全球定位信息。

在步骤S32中，3D模型选择单元61B将获取的所有对象的对象ID和全球定位信息发送到再现设备28。所有对象的对象ID和全球定位信息从3D模型选择单元61被输出到编码设备25并且经由编码设备25、发送和接收设备26等被发送到再现设备28。

在步骤S33中，3D模型选择单元61B经由发送和接收设备26获取从再现设备28发送的对象指定信息。

在步骤S34中，3D模型选择单元61B基于对象指定信息来确定其3D模型数据要被发送到再现设备28的发送对象。

在步骤S35中，3D模型选择单元61B将发送对象的对象ID和3D模型数据输出到编码设备25。

如上所述，第二对象选择处理终止。

根据第二对象选择处理，由于由观看者指定为显示目标的对象的3D模型数据被发送到再现设备28，因此观看者可以针对每个对象指定是否显示该对象。此外，仅发送由观看者指定为显示目标的对象的3D模型数据，以使得减小传输频带。

<5.选择设备的第三实施方式>

(选择设备的示例性配置)

图13示出了作为选择设备24的第三实施方式的选择设备24C的示例性配置。

选择设备24C包括3D模型选择单元61和图像选择单元81。

在选择设备24C中，采用多纹理几何格式作为3D模型数据的数据格式。因此，3D模型数据由通过多边形网格表示的几何信息以及与成像设备21的数目一样多的捕获图像(纹理图像)表示。

3D模型选择单元61包括第一实施方式中的3D模型选择单元61A或者第二实施方式中的3D模型选择单元61B，3D模型选择单元61仅从存储在存储设备23中的所有对象中选择满足预定条件的对象，并且将所选择的对象确定为发送对象。

尽管省略了详细描述，但是在3D模型选择单元61包括3D模型选择单元61A的情况下，3D模型选择单元61从再现设备28获取作为对象指定信息的虚拟摄像装置观看范围信息，并且基于虚拟摄像装置观看范围信息，从存储在存储设备23中的所有对象中确定发送对象。

另一方面，在3D模型选择单元61包括3D模型选择单元61B的情况下，3D模型选择单元61从再现设备28获取指示观看者指定的对象的对象指定信息，并且基于对象指定信息从存储在存储设备23中的所有对象中确定发送对象。

在3D模型选择单元61包括3D模型选择单元61B的情况下，由图13中的虚线指示的、作为输入数据的作为对象指定信息的对象ID以及作为输出数据的存储在存储设备23中的所有对象的对象ID和全球定位信息指示输入和输出数据。

3D模型选择单元61将所确定的发送对象的对象ID和3D模型数据以及所有对象的全球定位信息提供给图像选择单元81。

此外，存储设备23将所有成像设备21的摄像装置参数提供给图像选择单元81。

在第三实施方式中，如上所述，3D模型数据包括多边形网格的几何信息以及与成像设备21的数目一样多的捕获图像。存在下述情况：不包括由3D模型选择单元61确定的发送对象的图像被包括在作为3D模型数据的一部分的与成像设备21的数目一样多的捕获图像中。

图像选择单元81仅从作为发送对象的3D模型数据的一部分的(与成像设备21的数目一样多的)多个捕获图像中选择包括发送对象的捕获图像。

例如，如图14所示，假设3D模型选择单元61根据观看者的指定将包括在虚拟摄像装置70的观看范围内的三个对象91-1至91-3中的对象91-2确定为发送对象。两个对象91-1和91-3是不发送到再现设备28的对象(以下称为“非发送对象”)。

类似于3D模型选择单元61A，图像选择单元81将对象91-2的顶点信息投影在多个成像设备21中的每一个的成像平面上，并且确定对象91-2是否被包括在成像平面中，换言之，确定对象91-2是否被包括在捕获图像中。

在图14的示例中，示出了三个成像设备21-1至21-3。由于对象91-2被包括在成像设备21-1和成像设备21-2的成像平面中，因此由成像设备21-1和成像设备21-2成像的捕获图像被确定为要发送的捕获图像(以下称为“发送捕获图像”)。另一方面，由于对象91-2不被包括在成像设备21-3的成像平面中，因此由成像设备21-3成像的捕获图像被确定为不发送的捕获图像(下面称为“非发送捕获图像”)。

注意，如在第一实施方式中那样，为了减小计算负荷，可以通过使用每个对象的全球定位信息的代表值(例如边界框的顶点坐标)来计算对象是否被包括在由每个成像设备21成像的捕获图像中，并且确定要发送的图像。

例如，如图15中所示，单个发送对象的3D模型数据包括作为几何信息的单个多边形网格以及作为颜色信息的与成像设备21的数目(换言之，七个)一样多的捕获图像。然而，作为图像选择单元81的图像选择处理的结果，由成像设备21-3和21-6成像的捕获图像被确定为不发送的捕获图像(未被选择)。

图像选择单元81将发送对象的对象ID和3D模型数据输出到编码设备25。然而，对于颜色信息，在与成像设备21的数目一样多的捕获图像中，仅输出包括发送对象的捕获图像的3D模型数据。此外，图像选择单元81将与要作为3D模型数据发送的捕获图像对应的成像设备21的摄像装置参数输出到编码设备25。

(第三对象选择处理)

图16是用于说明选择设备24C的对象选择处理(第三对象选择处理)的流程图。例如，当打开再现设备28并且观看者执行用于开始再现的操作时，开始该处理。

首先，在步骤S51中，3D模型选择单元61执行用于从存储在存储设备23中的所有对象中确定发送对象的发送对象确定处理。

换言之，在步骤S51中，3D模型选择单元61执行图8中的用于基于作为对象指定信息的虚拟摄像装置观看范围信息来确定发送对象的第一对象选择处理或者图12中的用于基于指示观看者指定的对象的对象指定信息来确定发送对象的第二对象选择处理。作为处理结果而获得的发送对象的对象ID和3D模型数据被提供给图像选择单元81。

在步骤S52中，图像选择单元81从存储设备23获取所有成像设备21的摄像装置参数。

在步骤S53中，图像选择单元81将发送对象之一设置为要关注的目标对象。

在步骤S54中，图像选择单元81确定由多个成像设备21成像的捕获图像中的每一个中是否包括目标对象。

在步骤S54中确定目标对象被包括在由成像设备21成像的捕获图像中的至少一个中的情况下，处理进行到步骤S55，并且图像选择单元81将包括目标对象的捕获图像确定为发送捕获图像。另一方面，将不包括目标对象的捕获图像确定为非发送捕获图像。

在步骤S56中，图像选择单元81将目标对象的对象ID和3D模型数据输出到编码设备25。然而，对于颜色信息，仅输出与成像设备21的数目一样多的七个捕获图像中的在步骤S55中被确定为发送捕获图像的捕获图像的3D模型数据。此外，图像选择单元81将与发送捕获图像对应的成像设备21的摄像装置参数输出到编码设备25。

另一方面，在步骤S54中确定由多个成像设备21成像的所有捕获图像中均不包括目标对象的情况下，跳过步骤S55和S56中的处理。

在步骤S57中，图像选择单元81确定是否所有发送对象均已经被设置为目标对象。

在步骤S57中确定尚未将所有发送对象均设置为目标对象的情况下，处理返回到步骤S53，并且重复步骤S53至S57中的处理。换言之，尚未被设置为目标对象的发送对象被设置为下一个目标对象，并且确定由多个成像设备21中的每一个成像的每个捕获图像是发送捕获图像还是非发送捕获图像。

另一方面，在步骤S57中确定所有发送对象均已经被设置为目标对象的情况下，第三对象选择处理终止。

注意，在上述处理中，采用了下述方法：将发送对象逐一地设置为目标对象，并且重复执行步骤S54至S56中的处理。然而，对于所有发送对象，可以同时确定由多个成像设备21中的每一个成像的每个捕获图像是发送捕获图像还是非发送捕获图像。

根据第三对象选择处理，由于仅将由对象指定信息指定的对象的3D模型数据发送到再现设备28，因此可以减小传输频带。

此外，不发送作为非发送捕获图像的、由对象指定信息指定的对象的3D模型数据中的不包括由对象指定信息指定的对象的捕获图像，可以进一步减小传输频带。

<6.选择设备的第四实施方式>

(选择设备的示例性配置)

图17示出了作为选择设备24的第四实施方式的选择设备24D的示例性配置。

在第四实施方式中，与第一实施方式至第三实施方式的部件对应的部件用相同的附图标记表示，并且将省略其描述。

在选择设备24D中，如在第三实施方式中那样，采用多纹理几何格式作为3D模型数据的数据格式。

选择设备24D包括3D模型选择单元61、图像选择单元81和切出单元100。

换言之，根据第四实施方式的选择设备24D具有除了与第三实施方式的3D模型选择单元61和图像选择单元81类似的3D模型选择单元61和图像选择单元81之外还添加了切出单元100的配置。第四实施方式的其他配置与第三实施方式的配置相同。

当针对输出数据将第三实施方式的选择设备24C与第四实施方式的选择设备24D进行比较时，第三实施方式中的3D模型数据变为第四实施方式中的3D模型几何、切出图像和切出信息元数据。

3D模型几何指示由第三实施方式中的3D模型数据中包括的多边形网格表示的几何信息。因此，关于3D模型数据的几何信息，第三实施方式与第四实施方式之间没有差异。

另一方面，关于3D模型数据的颜色信息，第三实施方式中的作为输出数据的包括发送对象的捕获图像变为第四实施方式中的通过从包括发送对象的捕获图像中切出发送对象部分而获得的切出图像以及作为指示切出区域的位置的信息的切出信息元数据。

关于输入数据，第三实施方式类似于第四实施方式。

切出单元100包括对象区域设置单元101和切出图像生成单元102。

切出单元100从自图像选择单元81提供的包括发送对象的捕获图像中切出包括发送对象的切出区域的图像，以生成切出图像。这里，切出图像是指切出图像的一部分，例如，切出图像的必要部分，并且称为裁剪。

对象区域设置单元101基于由3D模型数据表示的3D模型，在包括发送对象的捕获图像中设置包括发送对象的对象区域。

切出图像生成单元102从捕获图像切出对象区域的图像以生成切出图像。此外，切出图像生成单元102生成指示切出区域在捕获图像中的位置的切出信息元数据。切出图像生成单元102将切出图像、切出信息元数据和每个成像设备21的摄像装置参数提供给编码设备25。

将参照图18至图21描述由切出单元100执行的切出处理。

从图像选择单元81提供给切出单元100的捕获图像是包括发送对象的捕获图像，如图18所示。

图18是与在第三实施方式的描述中指示的图15相同的图。

例如，将与成像设备21的数目一样多的七个捕获图像中的由成像设备21-1、21-2、21-4、21-5和21-7成像的捕获图像作为发送捕获图像提供给切出单元100。另一方面，不将由成像设备21-3和21-6成像的不包括发送对象的捕获图像提供给切出单元100。

切出单元100从自图像选择单元81提供的包括发送对象的捕获图像中切出包括发送对象的切出区域的图像，以生成切出图像。

现在，如图19所示，假设由成像设备21-1、21-2、21-4、21-5和21-7成像的五个捕获图像中的每一个均包括三个对象，即对象1(Object 1)、对象2(Object 2)和对象3(Object3)，作为发送对象。所有对象1至3均是与球员对应的部分。

切出单元100从由成像设备21-1成像的捕获图像生成分别包括对象1至3的切出图像cr11至cr13。

此外，切出单元100从由成像设备21-2成像的捕获图像生成分别包括对象1至3的切出图像cr21至cr23。

此外，切出单元100从由成像设备21-4成像的捕获图像生成分别包括对象1至3的切出图像cr41至cr43。

此外，切出单元100从由成像设备21-5成像的捕获图像生成分别包括对象1至3的切出图像cr51至cr53。

此外，切出单元100从由成像设备21-7成像的捕获图像生成分别包括对象1至3的切出图像cr71至cr73。

注意，包括对象1至3中的任何一个的切出图像cr11至cr73的分辨率可以彼此相同或不同。

在切出图像cr11至cr73的分辨率被设置为彼此不同的情况下，例如，如图20所示，可以将在最接近虚拟摄像装置70的位置的位置处的成像的捕获图像的切出图像的分辨率设置为高的，并且可以将其他捕获图像的切出图像的分辨率设置为低的。

在图20的示例中，已经在最接近虚拟摄像装置70的位置的位置处捕获了图像的成像设备21是成像设备21-2，并且将从由成像设备21-2成像的捕获图像中切出的切出图像cr21至cr23的分辨率设置为高的。其他切出图像cr11至cr13以及cr41至cr73的分辨率被设置为低于切出图像cr21至cr23的分辨率。

作为另一修改，可以按每个对象将分辨率设置为低的或高的。例如，可以将对象1的切出图像cr11至cr71的分辨率设置为高的，并且可以将对象2的切出图像cr12至cr72以及对象3的切出图像cr13至cr73的分辨率设置为低的。

此外，切出图像的分辨率可以根据网络带宽和诸如分发侧和再现侧的负荷的资源适当地改变和发送。

(切出处理)

将参照图21中的流程图描述由切出单元100执行的切出处理。

首先，在步骤S71中，对象区域设置单元101从自图像选择单元81提供的作为包括发送对象的捕获图像的发送捕获图像中选择预定的一个图像。

在步骤S72中，对象区域设置单元101选择被包括在所选择的发送捕获图像中的一个发送对象。

在步骤S73中，对象区域设置单元101在发送捕获图像中设置包括所选择的发送对象的对象区域。例如，如图22所示，在发送捕获图像280中，包括发送对象281的矩形区域被设置为对象区域282。

在步骤S74中，切出图像生成单元102从捕获图像中切出对象区域的图像以生成切出图像。

在步骤S75中，切出图像生成单元102生成指示切出区域在捕获图像中的位置的切出信息元数据。

这里，将参照图23描述切出信息元数据的示例。

图23示出了在发送捕获图像280中设置对象区域282并且切出了切出图像283的情况的示例。

例如，切出图像生成单元102根据下式(1)至(4)计算包括在切出信息元数据中的每一个参数。

occupancyX＝rangeX/width′...(1)

occupancyY＝rangeY/height′...(2)

normOffsetX＝offsetX/width′...(3)

normOffsetY＝offsetY/height′...(4)

在此，width′指示发送捕获图像280的宽度，而height′指示发送捕获图像2801的高度。项rangeX指示对象区域282的宽度，而项rangeY指示对象区域282的高度。项offsetX指示在X方向(宽度方向)上发送捕获图像280的左上角与对象区域282的左上角之间的距离，而项offsetY指示在Y方向(高度方向)上发送捕获图像280的左上角与对象区域282的左上角之间的距离。

因此，项occupancyX指示在X方向上对象区域282在发送捕获图像280中的占有率，而项occupancyY指示在Y方向上对象区域282在发送捕获图像280中的占有率。项normOffsetX是通过对offsetX进行归一化而获得的参数，而项normOffsetY是通过对offsetY进行归一化而获得的参数。这些参数指示对象区域282在发送捕获图像280中的位置。

注意，图23中的点P在发送捕获图像280的坐标系中的坐标(u′，v′)与切出图像283的坐标系中的坐标(u，v)之间的关系由下式(5)和(6)表示：

u＝(u’-normOffsetX)/occupancyX…(5)

v＝(v’-normOffsetY)/occupancyY…(6)

图24示出了切出信息元数据的具体示例。

在图24的示例中，normOffsetX、occupancyX、normOffsetY和occupancyY分别被设置为0.05、0.5、0.01和0.5。

返回到图21中的流程图的描述，对象区域设置单元101在步骤S76中确定是否已经选择了包括在所选择的发送捕获图像中的所有发送对象。

在步骤S76中确定尚未选择包括在所选择的发送捕获图像中的所有发送对象的情况下，处理返回到步骤S72，并且重复步骤S72至S76中的处理。换言之，选择包括在所选择的发送捕获图像中的下一个发送对象，并且执行类似的处理。

另一方面，在步骤S76中确定已经选择了包括在所选择的发送捕获图像中的所有发送对象的情况下，处理进行到步骤S77。

在步骤S77中，对象区域设置单元101确定是否已经选择了从图像选择单元81提供的所有发送捕获图像。

在步骤S77中确定尚未选择所有发送捕获图像的情况下，处理返回到步骤S71，并且重复步骤S71至S77中的处理。换言之，从自图像选择单元81提供的发送捕获图像中选择尚未被选择的下一发送捕获图像，并且执行类似的处理。

另一方面，在步骤S77中确定已经选择了所有发送捕获图像的情况下，处理进行到步骤S78。然后，切出单元100将所生成的切出图像、所生成的切出图像的切出信息元数据以及每个成像设备21的摄像装置参数输出到编码设备25，并且切出处理终止。

(第四对象选择处理)

图25是用于说明选择设备24D的对象选择处理(第四对象选择处理)的流程图。例如，当打开再现设备28并且观看者执行用于开始再现的操作时，开始该处理。

首先，在步骤S91中，3D模型选择单元61执行用于从存储在存储设备23中的所有对象中确定发送对象的发送对象确定处理。

换言之，在步骤S91中，3D模型选择单元61执行图8中的用于基于作为对象指定信息的虚拟摄像装置观看范围信息来确定发送对象的第一对象选择处理或者图12中的用于基于指示观看者指定的对象的对象指定信息来确定发送对象的第二对象选择处理。作为处理结果而获得的发送对象的对象ID和3D模型数据被提供给图像选择单元81。

在步骤S92中，图像选择单元81从存储设备23获取所有成像设备21的摄像装置参数。

在步骤S93中，图像选择单元81执行用于从与成像设备21的数目一样多的捕获图像中选择作为包括发送对象的捕获图像的发送捕获图像的发送捕获图像选择处理。换言之，图像选择单元81执行图16中的步骤S53至S57中的处理。通过该操作，将由多个成像设备21成像的捕获图像中的一个或更多个发送捕获图像以及成像设备21的摄像装置参数提供给切出单元100。

在步骤S94中，切出单元100执行切出处理，该切出处理用于生成通过从一个或更多个发送捕获图像中切出对象区域的图像而获得的切出图像以及指示切出区域的位置的切出信息元数据。换言之，切出单元100执行图21中的步骤S71至S77中的处理。

在步骤S95中，选择设备24D将发送对象的对象ID、3D模型几何、切出图像和切出信息元数据以及摄像装置参数输出到编码设备25，并且处理终止。发送对象的对象ID和3D模型几何从3D模型选择单元61输出，并且切出图像、切出信息元数据和摄像装置参数从切出单元100输出。

根据第四对象选择处理，由于仅将由对象指定信息指定的对象的3D模型数据发送到再现设备28，因此可以减小传输频带。

此外，根据发送捕获图像选择处理，不发送作为非发送捕获图像的不包括由对象指定信息指定的对象的捕获图像。因此，可以进一步减小传输频带。

此外，由于生成和发送通过从包括对象的捕获图像中切出对象区域的图像而获得的切出图像，因此与原样发送捕获图像的情况相比，可以进一步减小传输频带。

此外，在将在最接近虚拟摄像装置70的位置的位置处成像的捕获图像的切出图像的分辨率设置为高的情况下发送捕获图像的情况下，可以在最佳分辨率下观看图像，同时减小传输频带。

<7.选择设备的第五实施方式>

(选择设备的示例性配置)

图26示出了作为选择设备24的第五实施方式的选择设备24E的示例性配置。

在第五实施方式中，与第一实施方式至第四实施方式的部件对应的部件用相同的附图标记表示，并且将省略其描述。

在选择设备24E中，如第三实施方式中一样，采用多纹理几何格式作为3D模型数据的数据格式。

选择设备24E包括3D模型选择单元61、图像选择单元81、切出单元100、切出图像选择单元300和打包单元320。

换言之，根据第五实施方式的选择设备24E具有除了第四实施方式中的配置之外、还添加了切出图像选择单元300和打包单元320的配置。第五实施方式的其他配置与第四实施方式的配置相同。

切出图像选择单元300选择切出图像，以使得要作为用于再现的数据发送到再现设备28的切出图像的数目等于或小于已经由设置单元等(未示出)预先设置的Q(Q>0)。关于单个发送对象，在从切出单元100提供的切出图像的数目等于或大于Q的情况下，切出图像选择单元300将切出图像的数目减小至Q，并且在切出图像的数目小于Q的情况下，数目与从切出单元100发送的切出图像的数目相同的切出图像被提供给打包单元320。

切出图像选择单元300包括重要度设置单元301和再现数据选择单元302。

除了每个成像设备21的摄像装置参数之外，还将虚拟摄像装置的摄像装置参数提供给选择设备24E。

重要度设置单元301基于每个成像设备21的摄像装置参数和虚拟摄像装置的摄像装置参数来设置每个成像设备21的重要度。

再现数据选择单元302基于每个成像设备21的重要度来选择Q个或更少的切出图像。此外，再现数据选择单元302将用于对所选择的切出图像进行成像的成像设备21的重要度设置作为所选择的切出图像中的每一个的重要度。再现数据选择单元302将所选择的切出图像、切出图像的重要度、与切出图像对应的切出信息元数据以及摄像装置参数提供给打包单元320。

打包单元320通过将多个切出图像打包(组合)成单个图像来生成打包图像。

打包单元320包括打包图像生成单元321和元数据生成单元322。

打包图像生成单元321在根据需要使用每个切出图像的重要度的情况下设置作为用于对每个切出图像进行打包的布局的打包布局。然后，打包图像生成单元321通过在根据需要使用每个切出图像的重要度的情况下将每个切出图像映射到打包布局中的每一个打包区域中来生成打包图像，并且将打包图像提供给编码设备25。打包的单位可以是每个成像设备21或者每个发送对象。替选地，所有切出图像可以被打包成单个打包图像。

元数据生成单元322生成指示切出图像被映射的位置的打包信息元数据。

元数据生成单元322将打包图像中包括的每个切出图像的切出信息元数据、打包信息元数据和摄像装置参数提供给编码设备25。

(用于再现的数据的选择处理)

将参照图27中的流程图描述由切出图像选择单元300执行的用于再现的数据的选择处理。

首先，在步骤S121中，重要度设置单元301经由发送和接收设备26等从再现设备28获取虚拟摄像装置的摄像装置参数。此外，重要度设置单元301从切出单元100获取每个成像设备21的摄像装置参数。虚拟摄像装置的摄像装置参数包括例如与成像设备21的摄像装置参数的类型相同的类型的参数。

在步骤S122中，重要度设置单元301选择发送对象中之一。

在步骤S123中，重要度设置单元301将变量i设置为1。

在步骤S124中，重要度设置单元301计算每个成像设备21-i的重要度P(i)(i＝1至N)。

例如基于每个成像设备21(实际视点)与虚拟摄像装置之间的关于位置或方向的相对关系中的至少一个来计算重要度P(i)。

将参照图28至图30描述计算重要度P(i)的方法。注意，在图28至图30中，将描述成像设备21的数目为八的情况。

图28示出了下述示例：基于从每个成像设备21到要显示的对象331的方向与从虚拟摄像装置332到对象331的方向之间的关系来计算每个成像设备21的重要度P(i)。在这种情况中，根据下式(7)计算重要度P(i)。

P(i)＝Ci·Cv...(7)

在此，参考符号Ci指示从成像设备21-i到对象331的向量。参考符号Cv指示从虚拟摄像装置332到对象331的向量。Ci·Cv指示向量Ci与向量Cv的内积。

因此，重要度P(i)与由向量Ci和向量Cv形成的角度成反比，并且随着由向量Ci和向量Cv形成的角度的减小，重要度P(i)增大。换言之，在针对对象331的方向更接近虚拟摄像装置332针对对象331的方向的情况下，成像设备21的重要度P(i)增大。

注意，向量Ci和向量Cv是以对象331的代表点R为基准而设置的。代表点R可以通过任何方法来设置。例如，将对象331上的距每个成像设备21和虚拟摄像装置332的光轴的距离之和为最小值的点设置为代表点R。替选地，例如，将对象331的顶点在世界坐标系中的X方向、Y方向和Z方向中的每一个方向上的坐标的最大值与最小值之间的中间位置设置为代表点R。替选地，例如，将对象331的最重要的位置设置为代表点R。例如，在对象331是人的情况下，将人的面部的中心等设置为代表点R。

图29示出了基于每个成像设备21的光轴(实际视点方向)与虚拟摄像装置332的光轴(虚拟视点方向)之间的关系来计算重要度P(i)的示例。在这种情况下，根据下式(8)计算重要度P(i)。

P(i)＝Zi·Zv...(8)

在此，参考符号Zi指示成像设备21-i的光轴向量。参考符号Zv指示虚拟摄像装置332的光轴向量。Zi·Zv指示光轴向量Zi与光轴向量Zv的内积。

因此，重要度P(i)与由光轴向量Zi和光轴向量Zv形成的角度成反比，并且随着由光轴向量Zi和光轴向量Zv形成的角度的减小，重要度P(i)增大。换言之，随着成像设备21的光轴的方向更接近虚拟摄像装置332，重要度P(i)增大。

图30示出了基于每个成像设备21与虚拟摄像装置332之间的距离来计算重要度P(i)的示例。在这种情况下，根据下式(9)计算重要度P(i)。

P(i)＝1-Di/∑Di...(9)

在此，参考符号Di指示成像设备21-i与虚拟摄像装置332之间的距离。

因此，随着成像设备21更靠近虚拟摄像装置332，重要度P(i)增大。

注意，图29中的重要度P(i)和图30中的重要度P(i)与对象331的位置和移动无关。因此，如果每个成像设备21和虚拟摄像装置332的位置和方向是固定的，则重要度P(i)可以是固定的。

注意，重要度设置单元301可以通过将上述三种类型的重要度P(i)中的两种或更多种进行组合来设置重要度。

此外，重要度设置单元301可以基于由每个成像设备21成像的捕获图像的内容来设置重要度。例如，可以将被定位成更靠近要显示的对象的前方的成像设备21的重要度设置为高的。替选地，例如，在要显示的对象是人的情况下，可以将已经对包括面部的捕获图像进行了成像的成像设备21的重要度设置为更高。

返回图27，在步骤S125中，重要度设置单元301将变量i增大1。

在步骤S126中，重要度设置单元301确定变量i是否等于或小于N。注意，参考符号N指示成像设备21的数目。在确定变量i等于或小于N的情况下，处理返回到步骤S124。

之后，直到在步骤S126中确定变量i大于N为止，重复执行步骤S124至S126中的处理。通过该操作，计算了所有成像设备21-i的重要度P(i)。

另一方面，在步骤S126中确定变量i大于N的情况下，处理进行到步骤S127。

在步骤S127中，再现数据选择单元302基于重要度P(i)来选择用于再现的数据。换言之，再现数据选择单元302从具有较高重要度P(i)的成像设备21中选择Q个切出图像。

注意，可以选择由重要度P(i)等于或大于预定阈值的成像设备21成像的所有切出图像，而不是选择预定数目的切出图像。在这种情况下，要选择的切出图像的数目不是固定的。

此外，再现数据选择单元302将已经捕获了切出图像的成像设备21的重要度P(i)设置作为每个切出图像的重要度。

在步骤S128中，再现数据选择单元302确定是否已经选择了所有发送对象。

在步骤S128中确定尚未选择所有发送对象的情况下，处理返回到步骤S122，并且重复上述步骤S122至S127中的处理。换言之，选择下一个发送对象，并且执行类似的处理。

另一方面，在步骤S128中确定已经选择了所有发送对象的情况下，处理进行到步骤S1129，并且再现数据选择单元302将所选择的切出图像和切出图像的重要度、与切出图像对应的切出信息元数据以及摄像装置参数提供给打包单元320，并且用于再现的数据的选择处理终止。

(打包处理)

接下来，将参照图31中的流程图描述由打包单元320执行的打包处理。

首先，在步骤S151中，打包图像生成单元321设置打包布局。这里，在打包布局中，示出了用于将切出图像映射在与打包图像相同的矩形区域中的打包区域的布局。

例如，基于所选择的切出图像的数目(以下称为“选择数目”)和每个切出图像的重要度来设置打包布局。

例如，在切出图像的选择数目可变的情况下，基于选择数目来设置打包布局。例如，打包布局被设置成将与打包图像一样大的矩形区域划分成选择数目的打包区域。此时，打包区域的形状和尺寸可以相同或不同。在形状和尺寸彼此不同的情况下，例如，具有较高的重要度的切出图像被映射的打包区域较大。

图32示出了其中具有相同形状和尺寸的打包区域以格子布置的打包布局的示例。

在打包布局341中，具有相同形状和尺寸的矩形打包区域以一个竖直行和三个水平列布置。在打包布局342中，具有相同形状和尺寸的矩形打包区域以两个竖直行和两个水平列布置。在打包布局343中，具有相同形状和尺寸的矩形打包区域以三个竖直行和三个水平列布置。

另一方面，在切出图像的选择数目固定的情况下，可以根据需要固定或改变打包布局。在打包布局固定的情况下，打包区域的形状和尺寸可以相同或不同。在打包区域的形状或尺寸彼此不同的情况下，例如，具有较高的重要度的切出图像被映射的打包区域较大。另一方面，在可以改变打包布局的情况下，例如，根据每个切出图像的重要度来设置每个打包区域的尺寸。例如，具有较高的重要度的切出图像被映射的打包区域较大。

在步骤S152中，打包图像生成单元321将变量i设置为1。

在步骤S153中，打包图像生成单元321确定打包布局是否为格子状的打包布局。在所设置的打包布局中具有相同形状和尺寸的打包区域没有以格子布置的情况下，打包图像生成单元321确定该打包布局不是格子状的打包布局，并且处理进行到步骤S154。

在步骤S154中，元数据生成单元322生成打包区域i的元数据。具体地，在打包布局不是格子状的打包布局的情况下，打包信息元数据包括与打包区域对应的多条打包区域元数据。于是，元数据生成单元322生成与打包区域i对应的打包区域元数据。

图33示出了不是格子状的打包布局的打包布局的示例。

在图33中的打包布局361中，具有相同形状和尺寸的打包区域在中心处的大打包区域的上侧和下侧中的每一侧以一个竖直行和三个水平列布置。

例如，根据下式(10)至(13)计算在打包布局361中由阴影指示的打包区域362的打包区域元数据的每个参数。

occupancyX＝rangeX/width′...(10)

occupancyY＝rangeY/height′...(11)

normOffsetX＝offsetX/width′...(12)

normOffsetY＝offsetY/height′...(13)

这里，width′指示打包布局361(打包图像)的宽度，而height′指示打包布局361的高度。项rangeX是打包区域362的宽度，而项rangeY指示打包区域362的高度。项offsetX指示在X方向(宽度方向)上打包布局361的左上角与打包区域362的左上角之间的距离，而项offsetY指示在Y方向(高度方向)上打包布局361的左上角与打包区域362的左上角之间的距离。

因此，项occupancyX指示在X方向上打包区域362在打包布局361(打包图像)中的占有率，而项occupancyY指示在Y方向上打包区域362在打包布局361中的占有率。项normOffsetX是通过对offsetX进行归一化而获得的参数，而项normOffsetY是通过对offsetY进行归一化而获得的参数。

在步骤S155中，打包图像生成单元321选择要映射在打包区域i中的切出图像。此时，例如，打包图像生成单元321选择切出图像，使得具有较高重要度的切出图像被映射在较大的打包区域中。替选地，例如，打包图像生成单元321选择形状接近于打包区域i的形状的切出图像。

此外，元数据生成单元322将指示与所选择的切出图像对应的成像设备21的标识信息(ID)添加到打包区域元数据。

图34示出了打包区域元数据的具体示例。

在图34的示例中，normOffsetX、occupancyX、normOffsetY和occupancyY分别被设置为0.33、0.33、0.8和0.2。此外，camera_id被设置为1。参考符号camera_id指示下述参数，该参数指示与打包区域中映射的切出图像对应的成像设备21的ID。

在步骤S155中选择了要映射在打包区域i中的切出图像并且将成像设备21的ID添加到与打包区域i对应的打包区域元数据之后，处理进行到步骤S157。

另一方面，在步骤S153中确定打包布局是格子状的打包布局的情况下，处理进行到步骤S156。

在步骤S156中，与在步骤S155中的处理一样，打包图像生成单元321选择要映射在打包区域i中的切出图像。此外，元数据生成单元322将与所选择的切出图像对应的成像设备21的ID添加到打包信息元数据。

图35示出了与格子状的打包布局对应的打包信息元数据的示例。

图35的左侧示出了打包布局的示例。在该打包布局中，具有相同形状和尺寸的打包区域以四个竖直行和三个水平列的格子布置。

图35的右侧示出了针对左侧的打包布局生成的打包信息元数据的示例。在该示例中，指示打包布局中的行数的参数raw被设置为4，而指示列数的参数column被设置为3。此外，设置指示与要在每个打包区域中映射的切出图像对应的成像设备21的ID的参数camera_id。例如，在第一行、第一列的打包区域的camera_id被设置为2，在第一行、第二列的打包区域的camera_id被设置为1，并且在第二行、第一列的打包区域的camera_id被设置为3。

例如，元数据生成单元322在循环中的第一步骤S156中的处理中设置参数raw和column的值。此外，在每个循环中的步骤S156中的处理中，元数据生成单元322将与映射切出图像的打包区域对应的参数camera_id设置为与切出图像对应的成像设备21的ID。

在步骤S156中，选择要映射在打包区域i中的切出图像，并且将成像设备21的ID添加到打包信息元数据。此后，处理进行到步骤S157。

在步骤S157中，元数据生成单元322确定变量i是否等于或小于M。注意，参考符号M表示打包布局中的打包区域的数目。

在步骤S157中确定变量i等于或小于M的情况下，处理返回到步骤S153，并且重复执行步骤S153至S157中的处理，直到在步骤S157中确定变量i大于M。通过该操作，选择要在打包布局中的每一个打包区域中映射的切出图像，并且生成打包信息元数据。

另一方面，在步骤S157中确定变量i大于M的情况下，处理进行到步骤S158。

在步骤S158中，打包图像生成单元321生成打包图像。具体地，打包图像生成单元321将每个切出图像映射在打包布局的每个打包区域中。通过该操作，生成其中多个切出图像被组合成一幅图像的打包图像。

例如，如图36所示，在以三行和三列布置的打包布局中，从包括竖直方向布置的1080像素和水平方向布置的1920像素的九个捕获图像中切出的切出图像分别被映射在打包区域中，每个打包区域包括竖直方向布置的540个像素和水平方向布置的960个像素。通过该操作，将九个切出图像组合成单个打包图像。

此时，打包图像生成单元321对切出图像进行缩放，以将每个切出图像的尺寸调整为该切出图像被映射到的打包区域的尺寸。例如，如图37所示，在切出图像381被映射在打包区域391中的情况下，切出图像381在竖直方向和水平方向上的长度减小。此外，在切出图像382被映射在打包区域392中的情况下，切出图像382在竖直方向上的长度减小，并且在水平方向上的长度增大。

类似地，打包图像生成单元321将每个切出图像映射在打包布局的每个打包区域中。通过该操作，生成其中切出图像被组合成一幅图像的打包图像。

在步骤S159中，打包单元320将所生成的打包图像连同每个切出图像的切出信息元数据、打包图像的打包信息元数据以及摄像装置参数一起输出到编码设备25，并且打包处理终止。

(第五对象选择处理)

图38是用于说明选择设备24E的对象选择处理(第五对象选择处理)的流程图。例如，当打开再现设备28并且观看者执行用于开始再现的操作时，开始该处理。

首先，在步骤S171中，3D模型选择单元61执行用于从存储在存储设备23中的所有对象中确定发送对象的发送对象确定处理。

换言之，在步骤S171中，3D模型选择单元61执行图8中的用于基于作为对象指定信息的虚拟摄像装置观看范围信息来确定发送对象的第一对象选择处理或者图12中的用于基于指示观看者指定的对象的对象指定信息来确定发送对象的第二对象选择处理。作为处理结果而获得的发送对象的对象ID和3D模型数据被提供给图像选择单元81。

在步骤S172中，图像选择单元81获取所有成像设备21和虚拟摄像装置的摄像装置参数。

在步骤S173中，图像选择单元81执行发送捕获图像选择处理，该发送捕获图像选择处理用于从与成像设备21的数目一样多的捕获图像中选择作为包括发送对象的捕获图像的发送捕获图像。换言之，图像选择单元81执行图16中的步骤S53至S57中的处理。通过该操作，将由多个成像设备21成像的捕获图像中的一个或更多个发送捕获图像以及成像设备21的摄像装置参数提供给切出单元100。

在步骤S174中，切出单元100执行切出处理，该切出处理用于生成通过从一个或更多个发送捕获图像切出对象区域的图像而获得的切出图像和指示切出区域的位置的切出信息元数据。换言之，切出单元100执行图21中的步骤S71至S77中的处理。所生成的切出图像、切出图像的切出信息元数据以及所有成像设备21和虚拟摄像装置的摄像装置参数被提供给切出图像选择单元300。

在步骤S175中，切出图像选择单元300执行用于再现的数据的选择处理，该用于再现的数据的选择处理用于根据切出图像的重要度来选择切出图像，使得要作为用于再现的数据发送到再现设备28的切出图像的数目是预定值(例如，等于或小于Q)。换言之，切出图像选择单元300执行图27中的步骤S121至S129中的处理。

在步骤S176中，打包单元320执行打包处理，该打包处理用于通过将由切出图像选择单元300选择的多个切出图像打包成单幅图像来生成打包图像。换言之，打包单元320执行图31中的步骤S151至S158中的处理。

在步骤S177中，选择设备24E将发送对象的对象ID、3D模型几何、打包图像、切出信息元数据、打包信息元数据和摄像装置参数输出到编码设备25，并且第五对象选择处理终止。从3D模型选择单元61输出发送对象的对象ID和3D模型几何，并且从打包单元320输出打包图像、切出信息元数据、打包信息元数据和摄像装置参数。

根据第五对象选择处理，由于仅将由对象指定信息指定的对象的3D模型数据发送到再现设备28，因此可以减小传输频带。

此外，根据发送捕获图像选择处理，不发送作为非发送捕获图像的不包括由对象指定信息指定的对象的捕获图像。因此，可以进一步减小传输频带。

此外，由于生成和发送通过从包括对象的捕获图像中切出对象区域的图像而获得的切出图像，因此与原样发送捕获图像的情况相比，可以进一步减小传输频带。

此外，根据用于再现的数据的选择处理，由于根据切出图像的重要度将切出图像的数目减小到预定数目，并且切出图像通过打包处理被打包成单幅图像并且进行发送，可以在减小传输频带的同时以最佳分辨率观看图像。

<8.选择设备的第六实施方式>

(选择设备的示例性配置)

图39示出了作为选择设备24的第六实施方式的选择设备24F的示例性配置。

在第六实施方式中，与第一实施方式至第五实施方式的部件对应的部件用相同的附图标记表示，并且将省略其描述。

在选择设备24F中，采用多纹理深度格式作为3D模型数据的数据格式，在该格式中，对象的颜色信息包括与成像设备21的数目一样多的捕获图像，并且对象的几何信息包括与成像设备21的数目一样多的深度图像。注意，在下面的描述中，将作为颜色信息的捕获图像称为纹理图像，以便容易与深度图像区分开。

选择设备24F包括3D模型选择单元61和纹理深度图像选择单元421。换言之，选择设备24F具有除了如第三实施方式中的3D模型选择单元61之外还添加了纹理深度图像选择单元421的配置。

所有对象的3D模型数据被提供给3D模型选择单元61。3D模型数据包括与成像设备21的数目一样多的纹理图像和深度图像。

3D模型选择单元61基于对象指定信息从存储在存储设备23中的所有对象中确定(选择)发送对象。3D模型选择单元61将所确定的发送对象的3D模型数据(换言之，多个纹理图像和深度图像)提供给纹理深度图像选择单元421。

所有成像设备21的摄像装置参数从存储设备23被提供给纹理深度图像选择单元421。

纹理深度图像选择单元421执行类似于图13所示的根据第三实施方式的图像选择单元81的处理的处理。然而，由根据第三实施方式的图像选择单元81使用的3D模型数据是多纹理几何格式的数据。而由纹理深度图像选择单元421使用的3D模型数据是多纹理深度格式的数据。在这一点上，纹理深度图像选择单元421与图像选择单元81不同。

换言之，纹理深度图像选择单元421执行发送图像选择处理，该发送图像选择处理用于从与成像设备21的数目一样多的纹理图像和深度图像中选择包括发送对象的纹理图像和深度图像。

图40是用于说明由纹理深度图像选择单元421执行的发送图像选择处理的图。图40对应于在第三实施方式中描述的图15。

当将图40与在第三实施方式中描述的图15进行比较时，作为颜色信息的纹理图像相同，并且几何信息从由多边形网格表示的几何信息变为由深度图像表示的几何信息。在图40中，参考符号dep 1至dep 7指示由七个成像设备21-1至21-7生成的深度图像。

如在图15中描述的示例中，假设将由七个成像设备21-1至21-7成像的七个纹理图像中的、由成像设备21-3和21-6成像的纹理图像确定为不发送的纹理图像。在这种情况下，对于深度图像，类似地，纹理深度图像选择单元421将由成像设备21-3和21-6生成的深度图像确定为不发送的深度图像。

纹理深度图像选择单元421将发送对象的对象ID和3D模型数据输出到编码设备25。然而，3D模型数据是由纹理图像和深度图像表示的多纹理深度格式的数据，并且仅包括与成像设备21的数目一样多的捕获图像中的、包括发送对象的纹理图像和深度图像。此外，图像选择单元81将与要作为3D模型数据发送的纹理图像和深度图像对应的成像设备21的摄像装置参数输出到编码设备25。

(第六对象选择处理)

图41是用于说明选择设备24F的对象选择处理(第六对象选择处理)的流程图。例如，当打开再现设备28并且观看者执行用于开始再现的操作时，开始该处理。

首先，在步骤S191中，3D模型选择单元61执行用于从存储在存储设备23中的所有对象中确定发送对象的发送对象确定处理。

换言之，在步骤S191中，3D模型选择单元61执行图8中的用于基于作为对象指定信息的虚拟摄像装置观看范围信息来确定发送对象的第一对象选择处理或者图12中的用于基于指示观看者指定的对象的对象指定信息来确定发送对象的第二对象选择处理。作为处理结果而获得的发送对象的对象ID和3D模型数据被提供给纹理深度图像选择单元421。

在步骤S192中，纹理深度图像选择单元421从存储设备23获取所有成像设备21的摄像装置参数。

在步骤S193中，纹理深度图像选择单元421执行发送图像选择处理，该发送图像选择处理用于从与成像设备21的数目一样多的纹理图像和深度图像中选择包括发送对象的纹理图像和深度图像。

在步骤S194中，选择设备24F将发送对象的对象ID、包含包括发送对象的纹理图像和深度图像的3D模型数据以及与要发送的纹理图像和深度图像对应的成像设备21的摄像装置参数输出到编码设备25，并且第六对象选择处理终止。从3D模型选择单元61输出发送对象的对象ID，并且从纹理深度图像选择单元421输出3D模型数据和摄像装置参数。

根据第六对象选择处理，由于仅将由对象指定信息指定的对象的3D模型数据发送到再现设备28，因此可以减小传输频带。

此外，根据发送图像选择处理，由于不发送不包括由对象指定信息指定的对象的纹理图像和深度图像，因此可以进一步减小传输频带。

<9.选择设备的第七实施方式>

(选择设备的示例性配置)

图42示出了作为选择设备24的第七实施方式的选择设备24G的示例性配置。

在第七实施方式中，与第一实施方式至第六实施方式的部件对应的部件用相同的附图标记表示，并且将省略其描述。

在选择设备24G中，如在第六实施方式中那样的，采用多纹理深度格式作为3D模型数据的数据格式。

选择设备24G包括3D模型选择单元61、纹理深度图像选择单元421和纹理深度切出单元441。

换言之，根据第七实施方式的选择设备24G具有下述配置：将纹理深度切出单元441添加到如图39所示的第六实施方式中的3D模型选择单元61和纹理深度图像选择单元421。第七实施方式的其他配置与第六实施方式的相同。

从纹理深度图像选择单元421向纹理深度切出单元441提供包括发送对象的纹理图像和深度图像以及成像设备21的摄像装置参数。

纹理深度切出单元441与图17所示的第四实施方式中的切出单元100类似地执行用于切出对象区域的图像的切出处理。然而，在第四实施方式中，3D模型数据的数据格式是由多边形网格和纹理图像表示的多纹理几何格式。而在第七实施方式中，数据格式是由纹理图像和深度图像表示的多纹理深度格式。第七实施方式在这一点上不同于第四实施方式。

更具体地，纹理深度切出单元441通过从自纹理深度图像选择单元421提供的包括发送对象的纹理图像中切出对象区域的图像来生成纹理切出图像。纹理切出图像的生成类似于根据第四实施方式的切出单元100的操作。

此外，纹理深度切出单元441通过从自纹理深度图像选择单元421提供的包括发送对象的深度图像中切出对象区域的图像来生成深度切出图像。

此外，纹理深度切出单元441生成指示来自纹理图像和深度图像的切出区域的位置的切出信息元数据。纹理深度切出单元441将纹理切出图像、深度切出图像、这些图像的切出信息元数据以及每个成像设备21的摄像装置参数提供给编码设备25。

(对深度图像的描述)

图43是用于说明深度图像的图。

在图43的示例中，在纹理切出图像460中，三个对象461至463被成像。

在这种情况下，纹理深度切出单元441针对每个发送对象生成深度切出图像。

具体地，例如，如图43的右上部分所示，纹理深度切出单元441针对对象461生成深度切出图像481。深度切出图像481是具有与纹理切出图像460的尺寸相同的尺寸的图像，并且对象461的区域中的像素值由指示对象461的距离z的预定分辨率来表示，并且对象461的区域以外的区域中的像素值由任意的固定值(在图43的示例中为零)表示。

纹理深度切出单元441针对对象462生成深度切出图像482。深度切出图像482是具有与纹理切出图像460的尺寸相同的尺寸的图像，并且对象462的区域中的像素值由指示对象462的距离z的预定分辨率表示，并且对象462的区域以外的区域中的像素值由任意的固定值(在图43的示例中为零)表示。

类似地，纹理深度切出单元441针对对象463生成深度切出图像483。深度切出图像483是具有与纹理切出图像460的尺寸相同的尺寸的图像，并且对象463的区域中的像素值由指示对象463的距离z的预定分辨率表示，并且对象463的区域以外的区域的像素值用任意的固定值(在图43的示例中为零)表示。

注意，深度切出图像的尺寸可能针对每个对象不同。

具体地，例如，如图43的右下部分所示，关于对象461，纹理深度切出单元441生成包括如下区域的最小尺寸的矩形深度切出图像491：在该区域中，与纹理切出图像460上的对象461的区域对应的区域的像素值指示对象461的距离z。

类似地，纹理深度切出单元441针对对象462生成包括与纹理切出图像460上的对象462的区域对应的区域的最小尺寸的矩形深度切出图像492，并且针对对象463生成与纹理切出图像460上的对象463的区域对应的区域的最小尺寸的矩形深度切出图像493。

在这种情况下，与生成与纹理切出图像460具有相同尺寸的深度切出图像的情况相比，可以减小深度切出图像的数据量。

图44示出了切出信息元数据的示例。

来自纹理图像和深度图像的切出区域在X方向(宽度方向)和Y方向(高度方向)上的位置分别被指示为参照图23描述的offsetX、rangeX、offsetY和rangeY。

替选地，切出区域的位置可以由除以纹理图像和深度图像的宽度width′或高度height′的式(1)至(4)中的occupancyX、occupancyY、normOffsetX和normOffsetY表示。

此外，第七实施方式中的切出信息元数据包括作为关于深度切出图像的切出信息的z坐标的最小值zmin和最大值zmax。

图45是用于说明最小值zmin和最大值zmax的图。

如图45所示，当假设对象521的z坐标的最小值和最大值为最小值zmin和最大值zmax时，最小值zmin和最大值zmax被存储在切出信息元数据中。通过发送每个对象的最小值zmin和最大值zmax，可以对每个对象执行量化。

(第七对象选择处理)

图46是用于说明选择设备24G的对象选择处理(第七对象选择处理)的流程图。例如，当打开再现设备28并且观看者执行用于开始再现的操作时，开始该处理。

首先，在步骤S231中，3D模型选择单元61执行用于从存储在存储设备23中的所有对象中确定发送对象的发送对象确定处理。

换言之，在步骤S231中，3D模型选择单元61执行图8中的用于基于作为对象指定信息的虚拟摄像装置观看范围信息来确定发送对象的第一对象选择处理或者图12中的用于基于指示观看者指定的对象的对象指定信息来确定发送对象的第二对象选择处理。作为处理结果而获得的发送对象的对象ID和3D模型数据被提供给纹理深度图像选择单元421。

在步骤S232中，纹理深度图像选择单元421从存储设备23获取所有成像设备21的摄像装置参数。

在步骤S233中，纹理深度图像选择单元421执行发送图像选择处理，该发送图像选择处理用于从与成像设备21的数目一样多的纹理图像和深度图像中选择包括发送对象的纹理图像和深度图像。

在步骤S234中，纹理深度切出单元441执行切出处理，该切出处理用于切出包括发送对象的纹理图像和深度图像的对象区域，并且生成每个对象的纹理切出图像和深度切出图像以及这些图像的切出信息元数据。

在步骤S235中，选择设备24G将发送对象的对象ID、包括每个发送对象的纹理切出图像和深度切出图像的3D模型数据、切出信息元数据和摄像装置参数输出到编码设备25，并且第七对象选择处理终止。从3D模型选择单元61输出发送对象的对象ID，并且从纹理深度切出单元441输出3D模型数据、切出信息元数据和摄像装置参数。

根据第七对象选择处理，由于仅将由对象指定信息指定的对象的3D模型数据发送到再现设备28，因此可以减小传输频带。

此外，根据发送图像选择处理，由于不发送不包括由对象指定信息指定的对象的纹理图像和深度图像，因此可以进一步减小传输频带。

此外，由于生成和发送通过从包括对象的纹理图像和深度图像中切出对象区域的图像而获得的纹理切出图像和深度切出图像，因此与发送纹理图像和深度图像的情况相比，可以进一步减小传输频带。

注意，在第七实施方式中，可以使用下述配置：在纹理深度切出单元441的后部进一步设置如在图26所示的第五实施方式中的切出图像选择单元300或打包单元320中的至少一个，并且纹理切出图像和深度切出图像被进一步选择或打包成单幅图像。

<10.分发处理和再现处理>

最后，将描述作为图像处理系统10的整个分发侧的处理的分发处理以及作为再现侧的处理的再现处理。

(分发处理)

首先，将参照图47中的流程图描述图像处理系统10的分发侧的分发处理。

首先，在步骤S301中，多个成像设备21中的每一个对预定成像空间进行成像，并且将作为成像结果而获得的运动图像提供给重构设备22。

在步骤S302中，重构设备22通过使用从成像设备21-1至21-N中的每一个提供的成像空间中的运动图像，对于在成像空间中存在的大量对象，针对每个对象生成3D模型，并且将所生成的每个对象的3D模型数据提供给存储设备23。

可以采用任意方法来确定将运动图像中的什么设置为对象或者如何分离对象，并且适当地分离每个对象，并且将每个对象的3D模型数据存储在存储设备23中。

在步骤S303中，选择设备24从发送和接收设备26获取从再现设备28发送的指定对象的对象指定信息。

对象指定信息是例如作为关于虚拟摄像装置的观看范围的信息的虚拟摄像装置观看范围信息、关于由观看者指定为显示目标的对象的对象ID的信息等。在获取关于对象ID的信息作为对象指定信息的情况下，每个对象的对象ID和全球定位信息被预先发送到再现设备28。

在步骤S304中，选择设备24基于对象指定信息从存储在存储设备23中的所有对象中确定(选择)要发送的对象，并且将一个或更多个所确定的对象的对象ID和3D模型数据提供给编码设备25。作为该处理的细节，执行第一对象选择处理至第七对象选择处理中的任何一个。

在步骤S305中，编码设备25例如使用诸如AVC方法和HEVC方法的预定编码方法对被确定要发送的一个或更多个对象的对象ID和3D模型数据进行编码。通过编码而获得的3D模型的编码流被提供给发送和接收设备26。

在步骤S306中，发送和接收设备26经由网络27将从编码设备25提供的3D模型的编码流发送到再现设备28。

根据上述分发处理，部分地选择由多个成像设备21成像并生成的大量对象的3D模型，并且可以发送3D模型数据以由再现设备28进行再现。

(再现处理)

接下来，将参照图48中的流程图描述图像处理系统10的再现侧的再现处理。

首先，在步骤S321中，再现设备28的虚拟视点检测单元44生成用于指定在虚拟摄像装置的观看范围中存在的一个或更多个对象的对象指定信息，并且将所生成的信息提供给发送和接收单元41。

对象指定信息是例如作为关于虚拟摄像装置的观看范围的信息的虚拟摄像装置观看范围信息、关于由观看者指定为显示目标的对象的对象ID的信息等。在获取关于对象ID的信息作为对象指定信息的情况下，每个对象的对象ID和全球定位信息被预先从发送和接收设备26发送到再现设备28。

在步骤S322中，发送和接收单元41经由网络27将从虚拟视点检测单元44提供的对象指定信息发送到发送和接收设备26。

在步骤S323中，发送和接收单元41接收(获取)从发送和接收设备26提供的通过对一个或更多个对象的3D模型数据进行编码而获得的编码流，并且将该编码流提供给解码单元42。

在步骤S324中，解码单元42使用与编码设备25的编码方法对应的方法对从发送和接收单元41提供的3D模型的编码流进行解码。解码单元42将通过解码而获得的一个或更多个对象的3D模型数据提供给绘图单元43。

在步骤S325中，绘图单元43基于从解码单元42提供的一个或更多个对象的3D模型数据，生成根据虚拟摄像装置的视点的对象的图像(对象图像)作为显示图像，并且将显示图像提供给显示设备29。

在步骤S326中，显示设备29以二维方式显示从绘图单元43提供的显示图像，并且再现处理终止。

根据上述再现处理，由多个成像设备21成像并生成的大量对象的3D模型可以被部分地选择并且显示在显示设备29上。

根据图像处理系统10，仅将由多个成像设备21成像并生成的大量对象中的、满足基于对象指定信息的预定条件的对象的3D模型数据发送到再现侧。

以这种方式，通过仅发送成像空间中包括的所有对象中的必要对象的3D模型数据，可以减小再现侧的处理负荷，并且可以减小传输频带，同时确保观看者观看的对象图像的图像质量。不发送不必要的对象的3D模型数据，使得可以改进观看者观看的对象图像的图像质量。

例如，在采用作为关于虚拟摄像装置的观看范围的信息的虚拟摄像装置观看范围信息作为对象指定信息的情况下，可以减小传输频带，并且可以通过仅发送观看者的观看范围内的对象的3D模型数据来生成显示图像。

例如，在采用关于由观看者指定为显示目标的对象的对象ID的信息作为对象指定信息的情况下，观看者可以指定要显示的对象，可以在减小传输频带的情况下生成显示图像。

<11.计算机的示例性配置>

上述一系列处理可以由硬件或软件来执行。在由软件执行这一系列处理的情况下，将包括在软件中的程序安装在计算机中。这里，计算机包括结合在专用硬件中的计算机以及例如可以通过安装各种程序来执行各种功能的通用个人计算机等。

图49是用于通过程序执行上述一系列处理的计算机的硬件的示例性配置的框图。

在计算机900中，中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903通过总线904彼此连接。

此外，输入/输出接口905连接到总线904。输入单元906、输出单元907、存储单元908、通信单元909和驱动器910连接到输入/输出接口905。

输入单元906包括键盘、鼠标、麦克风等。输出单元907包括显示器、扬声器等。存储单元908包括硬盘、非易失性存储器等。通信单元909包括网络接口等。驱动器910驱动可移除介质911，例如磁盘、光盘、光磁盘或半导体存储器。

在如上所述的那样配置的计算机900中，CPU 901例如经由输入/输出接口905和总线904将存储在存储单元908中的程序加载到RAM 903，并且执行该程序，使得执行上述一系列处理。

例如，可以通过将由计算机900(CPU 901)执行的程序记录到作为封装介质的可移除介质911等等来提供该程序。此外，可以经由诸如局域网、因特网和数字卫星广播的有线或无线传输介质来提供程序。

在计算机900中，可以通过将可移除介质911安装在驱动器910中来经由输入/输出接口905将程序安装到存储单元908。此外，可以由通信单元909经由有线或无线传输介质来接收程序，并且将程序安装到存储单元908。另外，程序可以被预先安装到ROM 902和存储单元908。

注意，由计算机900执行的程序可以是其中以时间序列的方式按本文中描述的顺序执行处理的程序以及其中并行地或者在必要定时处(例如当已经做出调用时)执行处理的程序。

<12.应用示例>

根据本公开的技术可以应用于各种产品。例如，根据本公开的技术可以被实现为将被安装在任何类型的移动体上的装置，移动体例如是汽车、电动车辆、混合动力车辆、摩托车、自行车、个人移动体、飞机、无人机、船舶以及机器人、建筑机械和农业机械(拖拉机)。

图50是车辆控制系统7000的示例性示意性配置的框图，该车辆控制系统7000是可以应用根据本公开的技术的移动体控制系统的示例。车辆控制系统7000包括经由通信网络7010连接的多个电子控制单元。在图50所示的示例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、外部信息检测单元7400、车内信息检测单元7500和集成控制单元7600。用于连接多个控制单元的通信网络7010可以是符合任选标准的车载通信网络，诸如，控制器局域网(CAN)、局域互连网(LIN)、局域网(LAN)、FlexRay(注册商标)等。

每个控制单元包括：微型计算机，其根据各种程序执行运算处理；存储单元，其存储由微型计算机执行的程序或者用于各种操作的参数等；以及驱动电路，其驱动要控制的设备。每个控制单元包括用于经由通信网络7010与其他控制单元进行通信的网络接口(I/F)，以及用于通过有线或无线通信与车辆内部/外部的设备、传感器等进行通信的通信I/F。在图50中，作为集成控制单元7600的功能配置，示出了微型计算机7610、通用通信I/F7620、专用通信I/F 7630、定位单元7640、信标接收单元7650、车内设备I/F 7660、音频图像输出单元7670、车载网络I/F 7680和存储单元7690。其他控制单元类似地包括微型计算机、通信I/F、存储单元等。

驱动系统控制单元7100根据各种程序来控制与车辆的驱动系统相关的设备的操作。例如，驱动系统控制单元7100用作诸如以下设备的控制设备：用于生成车辆的驱动力的驱动力生成设备，诸如内燃机、驱动电机等；用于将驱动力传递至车轮的驱动力传递机构；调节车辆的转向角的转向机构；以及生成车辆的制动力的制动设备等。驱动系统控制单元7100可以具有作为诸如防抱死制动系统(ABS)或电子稳定控制(ESC)等的控制设备的功能。

驱动系统控制单元7100连接到车辆状态检测单元7110。车辆状态检测单元7110例如包括下列项中的至少一个：检测车身的轴向旋转运动的角速度的陀螺仪传感器，检测车辆的加速度的加速度传感器，以及用于检测加速器踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机速度、车轮的旋转速度等的传感器。驱动系统控制单元7100使用从车辆状态检测单元7110输入的信号执行运算处理，并且控制内燃机、驱动电机、电动助力转向设备、制动设备等。

车身系统控制单元7200根据各种程序对附接到车身的各种设备的操作进行控制。例如，车身系统控制单元7200用作如下设备的控制设备：无钥匙进入系统，智能钥匙系统，电动车窗设备，或者诸如前照灯、倒车灯、制动灯、转向灯、雾灯等的各种灯。在这种情况下，可以将从用于替代钥匙的便携式机械发送的无线电波或者各种开关的信号输入到车身系统控制单元7200。车身系统控制单元7200接收无线电波或信号的输入，并且控制车辆的门锁设备、电动车窗设备、灯等。

电池控制单元7300根据各种程序对作为驱动电机的电源的二次电池7310进行控制。例如，包括二次电池7310的电池设备将诸如电池温度、电池输出电压、电池的剩余电量的信息输入到电池控制单元7300。电池控制单元7300通过使用这些信号执行运算处理，并且控制二次电池7310的温度调节或者控制电池设备中包括的冷却设备等。

外部信息检测单元7400检测包括车辆控制系统7000的车辆的外部的信息。例如，外部信息检测单元7400连接到成像单元7410或外部信息检测部7420中的至少一个。成像单元7410包括飞行时间(ToF)摄像装置、立体摄像装置、单目摄像装置、红外摄像装置或其他摄像装置中的至少一个。外部信息检测部7420包括例如下列项中的至少一个：用于检测当前天气或气象情况的环境传感器，或者检测包括车辆控制系统7000的车辆的周围的其他车辆、障碍物、行人等的周边信息检测传感器。

环境传感器可以是例如下列项中的至少一个：检测雨天的雨滴传感器，检测雾的雾传感器，检测日照程度的日照传感器，或者检测降雪的雪传感器。周边信息检测传感器可以是下列项中的至少一个：超声波传感器，雷达装置，以及光检测和测距、激光成像检测和测距(LIDAR)设备。成像单元7410和外部信息检测部7420可以作为独立传感器和设备而被包括，并且可以作为通过将多个传感器和设备进行集成而形成的设备而被包括。

这里，在图51中，示出了成像单元7410和外部信息检测部7420的设置位置的示例。成像单元7910、7912、7914、7916和7918中的每一个被设置在例如车辆7900的前鼻、侧视镜、后保险杠、后门以及车辆内部的挡风玻璃上部中的至少之一处。设置在前鼻处的成像单元7910以及设置在车辆内部中的挡风玻璃上部的成像单元7918主要获得车辆7900前方的图像。设置在侧视镜处的成像单元7912和7914主要获得车辆7900侧面的图像。设置在后保险杠或后门处的成像单元7916主要获得车辆7900的后方的图像。设置在车辆内部的挡风玻璃上部的成像单元7918主要用于检测前方车辆、行人、障碍物、交通灯、交通标志、车道等。

注意，在图51中，示出了各个成像单元7910、7912、7914和7916的示例性成像范围。成像范围a指示设置在前鼻处的成像单元7910的成像范围，并且成像范围b和c分别指示设置在侧视镜处的成像单元7912和7914的成像范围。成像范围d指示设置在后保险杠或后门处的成像单元7916的成像范围。例如，叠加由成像单元7910、7912、7914和7916成像的图像数据，使得可以获得从上方观看的车辆7900的鸟瞰图像。

分别设置在车辆7900的前部、后部、侧部、拐角以及车辆内部的挡风玻璃上部的外部信息检测单元7920、7922、7924、7926、7928和7930可以是例如超声波传感器或雷达装置。设置在车辆7900的前鼻、后保险杠、后门以及车辆内部的挡风玻璃上部的外部信息检测单元7920、7926和7930可以是例如LIDAR设备。外部信息检测单元7920至7930主要用于检测前方车辆、行人、障碍物等。

将再次参照图50继续进行描述。外部信息检测单元7400使成像单元7410捕获车辆外部的图像并且接收所捕获的图像数据。另外，外部信息检测单元7400从连接到外部信息检测单元7400的外部信息检测部7420接收检测信息。在外部信息检测部7420为超声波传感器、雷达装置或LIDAR设备的情况下，外部信息检测单元7400使外部信息检测部7420发送超声波、无线电波等，并且接收关于接收到的反射波的信息。外部信息检测单元7400可以基于接收到的信息来执行用于检测诸如道路上的人、汽车、障碍物、标志或字母之类的对象的处理或者距离检测处理。外部信息检测单元7400可以基于接收到的信息来执行用于识别雨、雾、路面状况等的环境识别处理。外部信息检测单元7400可以基于所接收的信息来计算到车辆外部的对象的距离。

此外，外部信息检测单元7400可以基于接收到的图像数据来执行用于识别道路上的人、汽车、障碍物、标志、字母等的图像识别处理或者距离识别处理。外部信息检测单元7400可以通过对接收到的图像数据执行诸如失真校正或定位的处理并且合成由不同成像单元7410成像的图像数据来生成鸟瞰图像或全景图像。外部信息检测单元7400可以通过使用由不同成像单元7410成像的图像数据来执行视点转换处理。

车内信息检测单元7500检测车内信息。车内信息检测单元7500连接到例如用于检测驾驶员状态的驾驶员状态检测单元7510。驾驶员状态检测单元7510可以包括用于对驾驶员进行成像的摄像装置、用于检测驾驶员的生物信息的生物传感器、用于收集车辆内部的声音的麦克风等等。生物传感器被设置在例如座椅表面、方向盘等处，并且检测坐在座椅上的乘员或者握持方向盘的驾驶员的生物信息。基于从驾驶员状态检测单元7510输入的检测信息，车内信息检测单元7500可以计算驾驶员的疲劳程度或注意力集中程度，并且可以确定驾驶员是否入睡。车内信息检测单元7500可以对所收集的音频信号执行诸如噪声消除处理的处理。

集成控制单元7600根据各种程序来控制车辆控制系统7000中的总体操作。集成控制单元7600连接到输入单元7800。输入单元7800由例如触摸面板、按钮、麦克风、开关、控制杆等的、乘员可以对其执行输入操作的设备来实现。集成控制单元7600可以接收通过识别经由麦克风输入的声音而获得的数据。输入单元7800可以是例如使用红外线或其他无线电波的遥控设备，并且可以是与车辆控制系统7000的操作对应的外部连接设备，诸如移动电话或个人数字助理(PDA)。输入单元7800可以是例如摄像装置。在这种情况下，乘员可以通过使用手势来输入信息。替选地，可以输入通过检测乘员佩戴的可穿戴设备的运动而获得的数据。此外，输入单元7800可以包括例如输入控制电路等，该输入控制电路等基于乘员等通过使用输入单元7800输入的信息来生成输入信号，并且将该输入信号输出到集成控制单元7600。乘员等通过操作输入单元7800输入各种数据并且对车辆控制系统7000指示处理操作。

存储单元7690可以包括用于存储由微型计算机执行的各种程序的只读存储器(ROM)以及用于存储各种参数、计算结果、传感器值等的随机存取存储器(RAM)。此外，存储单元7690可以由诸如硬盘驱动器(HDD)的磁存储设备、半导体存储设备、光学存储设备、磁光存储设备等来实现。

通用通信I/F 7620调解与存在于外部环境7750中的各种设备的一般通信。通用通信I/F 7620可以实现：蜂窝通信协议，诸如全球移动通信系统(GSM)(注册商标)、WiMAX(注册商标)、长期演进(LTE)(注册商标)、或者LTE高级(LTE-A)、或者其他无线通信协议，诸如无线LAN(Wi-Fi(注册商标))和蓝牙(注册商标)。例如，通用通信I/F 7620可以经由基站或接入点连接到存在于外部网络(例如，互联网、云网络或公司特定网络)上的设备(例如，应用服务器或控制服务器)。此外，通用通信I/F 7620可以通过使用对等(P2P)技术连接至存在于车辆附近的终端(例如，驾驶员、行人或商店的终端，或者机器型通信(MTC)终端)。

专用通信I/F 7630支持针对车辆使用而建立的通信协议。专用通信I/F 7630可以例如实现：标准协议，例如车辆环境中的无线接入(WAVE)(它是作为下层的IEEE 802.11p与作为上层的IEEE 1609的组合)，专用短程通信(DSRC)，或蜂窝通信协议。专用通信I/F 7630通常执行作为包括下列项中一个或更多个的概念的V2X通信：车辆对车辆的通信、车辆对基础设施的通信、车辆对家庭的通信，以及车辆对行人的通信。

例如，定位单元7640从全球导航卫星系统(GNSS)卫星接收GNSS信号(例如，来自全球定位系统(GPS)卫星的GPS信号)并且执行定位。然后，定位单元7640生成包括车辆的纬度、经度和高度的位置信息。注意，定位单元7640可以通过与无线接入点交换信号来指定当前位置，或者可以从诸如具有定位功能的移动电话、PHS或智能电话的终端获得位置信息。

信标接收单元7650例如接收从安装在道路等上的无线电站发送的无线电波或电磁波，并且获得包括当前位置、交通拥堵、封闭区域、所需时间等的信息。注意，信标接收单元7650的功能可以被包括在上述专用通信I/F 7630中。

车内设备I/F 7660是用于解调微型计算机7610与车辆中的各种车内设备7760之间的连接的通信接口。车内设备I/F 7660可以通过使用诸如无线LAN、蓝牙(注册商标)、近场通信(NFC)或无线USB(WUSB)的无线通信协议来建立无线连接。此外，车内设备I/F 7660可以经由未示出的连接端子(以及电缆，如果必要的话)，通过诸如通用串行总线(USB)、高清晰多媒体接口(HDMI)(注册商标)或移动高清链接(MHL)建立有线连接。车内设备7760可以包括例如乘员所拥有的移动设备或可穿戴设备或者车辆中承载的或附接至车辆的信息设备中的至少之一。此外，车内设备7760可以包括导航设备，该导航设备搜索到任意目的地的路线。车内设备I/F 7660与车内设备7760交换控制信号或数据信号。

车载网络I/F 7680是用于解调微型计算机7610与通信网络7010之间的通信的接口。车载网络I/F 7680根据通信网络7010所支持的预定协议来发送和接收信号等。

集成控制单元7600的微型计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位单元7640、信标接收单元7650、车内设备I/F 7660或车载网络I/F 7680中的至少一个获得的信息，根据各种程序来控制车辆控制系统7000。例如，微型计算机7610可以基于所获得的车辆内部和外部的信息来计算驱动力生成设备、转向机构或制动设备的控制目标值，并且将控制指令输出到驱动系统控制单元7100。例如，微型计算机7610可以执行协同控制以实现高级驾驶员辅助系统(ADAS)的功能，该功能包括车辆的碰撞避免或撞击缓冲、基于车间距离的跟随驾驶、车速保持驾驶、车辆碰撞警报、车辆偏离车道的警报等。此外，微型计算机7610基于所获得的车辆周围的信息来控制驱动力生成设备、转向机构、制动设备等，从而执行用于其中车辆不依赖于驾驶员的操作等而自动行驶的自动驾驶的协同控制。

微型计算机7610可以基于经由通用通信I/F 7620、专用通信I/F 7630、定位单元7640、信标接收单元7650、车内设备I/F 7660或车载网络I/F 7680中的至少一个获得的信息，生成车辆与诸如车辆周围的建筑物和人的对象之间的三维距离信息，并且创建包括车辆的当前位置的周围环境的信息的局部地图信息。此外，微型计算机7610可以基于所获得的信息来预测诸如车辆的碰撞、行人等的接近或者进入封闭道路等危险，并且生成警报信号。该警报信号可以是例如用于产生警告声音或点亮警报灯的信号。

音频图像输出单元7670将作为语音或图像中的至少之一的输出信号发送到输出设备，该输出设备可以以视觉或听觉方式向车辆乘员或车辆外部通知信息。在图50的示例中，音频扬声器7710、显示单元7720和仪表面板7730被例示为输出设备。显示单元7720可以包括例如车载显示器或平视显示器中的至少一个。显示单元7720可以具有增强现实(AR)显示功能。输出设备可以是除上述设备以外的设备，例如，诸如耳机、乘员佩戴的眼镜型显示器的可穿戴设备、投影仪或灯。在输出设备是显示设备的情况下，该显示设备以诸如文本、图像、图表、曲线图等的各种格式以视觉方式显示通过由微型计算机7610执行的各种处理而获得的结果或者从其他控制单元接收的信息。此外，在输出设备是声音输出设备的情况下，声音输出设备将包括再现的音频数据、声学数据等的音频信号转换为模拟信号并且以听觉方式输出该信号。

注意，在图50所示的示例中，可以将经由通信网络7010连接的至少两个控制单元集成为单个控制单元。替选地，每个控制单元可以包括多个控制单元。此外，车辆控制系统7000可以包括未示出的其他控制单元。此外，在以上描述中，其他控制单元可以具有任何一个控制单元的功能的一部分或全部。即，如果可以经由通信网络7010发送和接收信息，则任何一个控制单元均可以执行预定运算处理。类似地，连接到任何一个控制单元的传感器或设备可以连接到其他控制单元，并且多个控制单元可以经由通信网络7010相互发送和接收检测信息。

注意，用于实现图像处理系统10的每个功能的计算机程序可以被安装在任何一个控制单元等上。此外，可以提供存储这种计算机程序的计算机可读记录介质。记录介质是例如磁盘、光盘、磁光盘、闪存等。此外，可以在不使用记录介质的情况下例如经由网络来分发计算机程序。

例如，在将图像处理系统10应用于上述的车辆控制系统7000的情况下，图像处理系统10的成像设备21对应于成像单元7410的至少一部分。此外，重构设备22、存储设备23、选择设备24、编码设备25、发送和接收设备26以及再现设备28的集成对应于微型计算机7610和存储单元7690。显示设备29对应于显示单元7720。注意，在将图像处理系统10应用于集成控制单元7600的情况下，不设置网络27，并且通过作为观看者的乘员对输入单元7800的操作来输入观看者的视线方向和观看位置。如上所述，通过将图像处理系统10应用于图50所示的应用示例中的集成控制单元7600，可以以高图像质量(高分辨率)将显示仅在观看者期望的区域中的对象的显示图像显示在显示单元7720等上。

此外，图像处理系统10的部件的至少一部分可以由用于图50所示的集成控制单元7600的模块(例如，包括单个管芯的集成电路模块)来实现。替选地，图像处理系统10可以由图50所示的车辆控制系统7000的多个控制单元实现。

此外，系统在本文中是指多个部件(设备、模块(部件)等)的组合，并且不考虑所有部件是否均在同一壳体中。因此，以下两者均是系统：分别容纳在彼此不同的壳体中并且经由网络连接的多个设备；以及具有容纳在一个壳体中的多个模块的单个设备。

注意，本文中描述的效果仅是示例性的，并且不限于此。可能有其他效果。

此外，本公开的实施方式不限于上述实施方式，并且在不脱离本公开的范围的情况下可以进行各种改变。

例如，本公开可以具有云计算的配置，在该配置中，单个功能由多个设备经由网络共享并且联合处理。

此外，参照上述流程图描述的每个步骤可以由单个设备执行，并且可以被划分并且由多个设备执行。

此外，在一个步骤中包括多个处理的情况下，一个步骤中包括的多种处理可以由单个设备执行，并且可以被划分且由多个设备执行。

注意，本技术可以具有以下配置。

(1)

一种图像处理装置，包括：

3D模型选择单元，其被配置成从多个3D模型的对象中选择满足预定条件的对象；以及

发送单元，其被配置成发送所选择的对象的3D模型数据。

(2)

根据(1)所述的图像处理装置，其中，

所述3D模型数据是以下格式的数据：所述对象的颜色信息由从多个方向成像的多个纹理图像表示，并且所述对象的几何信息由点的集合或多边形网格表示。

(3)

根据(1)所述的图像处理装置，其中，

所述3D模型数据是以下格式的数据：所述对象的颜色信息由从多个方向成像的多个纹理图像表示，并且所述对象的几何信息由与所述纹理图像的像素值相关联地存储距离信息的多个深度图像表示。

(4)

根据(1)至(3)中任一项所述的图像处理装置，其中，

所述3D模型选择单元基于接收到的用于指定对象的对象指定信息来选择满足所述预定条件的对象。

(5)

根据(4)所述的图像处理装置，其中，

所述对象指定信息是指示基于虚拟摄像装置的视点的观看范围的虚拟摄像装置观看范围信息。

(6)

根据(5)所述的图像处理装置，其中，

所述3D模型选择单元根据所述对象的全球定位信息的代表值是否被包括在所述虚拟摄像装置的观看范围内来确定是否满足预定条件。

(7)

根据(4)所述的图像处理装置，其中，

所述对象指定信息是关于由观看者指定为显示目标的对象的对象ID的信息。

(8)

根据(1)至(7)中任一项所述的图像处理装置，还包括：

图像选择单元，其被配置成从所选择的对象的多个纹理图像中仅选择包括所述对象的纹理图像，其中，

所生成的3D模型数据包括从多个方向成像的多个纹理图像，并且

所述发送单元发送由所述图像选择单元选择的纹理图像作为所述3D模型数据的纹理图像。

(9)

根据(8)所述的图像处理装置，还包括：

切出单元，其被配置成切出由所述图像选择单元选择的纹理图像的对象部分并且生成切出图像，其中，

所述发送单元发送由所述切出单元生成的切出图像作为所述3D模型数据的纹理图像。

(10)

根据(4)至(9)中任一项所述的图像处理装置，其中，

所述3D模型数据是以下格式的数据：所述对象的几何信息由点的集合表示，并且所述对象的颜色信息与所述点中的每一个相关联地保存。

(11)

根据(4)至(9)中任一项所述的图像处理装置，其中，

所述3D模型数据是以下格式的数据：所述对象的几何信息由多边形网格表示，并且所述对象的颜色信息与所述多边形网格中的每一个相关联地保存。

(12)

一种图像处理方法，包括以下步骤：

由图像处理装置

从多个3D模型的对象中选择满足预定条件的对象；以及

发送所选择的对象的3D模型数据。

(13)

一种图像处理装置，包括：

接收单元，其被配置成接收从多个3D模型的对象中选择为满足预定条件的对象的对象的3D模型数据；以及

绘图单元，其被配置成基于所接收的对象的3D模型数据生成根据虚拟摄像装置的视点的所述对象的显示图像。

(14)

根据(13)所述的图像处理装置，其中，

所述3D模型数据是以下格式的数据：所述对象的颜色信息由从多个方向成像的多个纹理图像表示，并且所述对象的几何信息由点的集合或多边形网格表示。

(15)

根据(13)所述的图像处理装置，其中，

所述3D模型数据是以下格式的数据：所述对象的颜色信息由从多个方向成像的多个纹理图像表示，并且所述对象的几何信息由与所述纹理图像的像素值相关联地存储从所述多个方向测量的距离信息的多个深度图像表示。

(16)

根据(13)至(15)中任一项所述的图像处理装置，还包括：

虚拟视点检测单元，其被配置成生成指示基于所述虚拟摄像装置的视点的观看范围的虚拟摄像装置观看范围信息，其中，

所述接收单元还发送所述虚拟摄像装置观看范围信息。

(17)

根据(13)至(15)中任一项所述的图像处理装置，还包括：

输入单元，其被配置成接收观看者对作为显示目标的对象的指定，其中，

所述接收单元还发送关于由所述输入单元指定的对象的对象ID的信息。

(18)

根据(13)所述的图像处理装置，其中，

所述3D模型数据是以下格式的数据：所述对象的几何信息由点的集合表示，并且所述对象的颜色信息与所述点中的每一个相关联地保存。

(19)

根据(13)所述的图像处理装置，其中，

所述3D模型数据是以下格式的数据：所述对象的几何信息由多边形网格表示，并且所述对象的颜色信息与所述多边形网格中的每一个相关联地保存。

(20)

一种图像处理方法，包括以下步骤：

由图像处理装置

接收从多个3D模型的对象中选择为满足预定条件的对象的对象的3D模型数据；以及

基于所接收的对象的3D模型数据，生成根据虚拟摄像装置的视点的所述对象的显示图像。

附图标记列表

10图像处理系统，21-1至21-N成像设备，22重构设备，23存储设备，24(24A至24G)选择设备，26发送和接收设备，28再现设备，29显示设备，41发送和接收单元，43绘图单元，44虚拟视点检测单元，45输入单元，61(61A，61B)3D模型选择单元，70虚拟摄像装置，81图像选择单元，100切出单元，101对象区域设置单元，102切出图像生成单元，300切出图像选择单元，301重要度设置单元，302再现数据选择单元，320打包单元，321打包图像生成单元，322元数据生成单元，421纹理深度图像选择单元，441纹理深度切出单元，900计算机，901CPU，902 ROM，903 RAM，906输入单元，907输出单元，908存储单元，909通信单元，910驱动器。

Claims (20)

1.一种图像处理装置，包括：

3D模型选择单元，所述3D模型选择单元被配置成从多个3D模型的对象中选择满足预定条件的对象；以及

发送单元，所述发送单元被配置成发送所选择的所述对象的3D模型数据。

2.根据权利要求1所述的图像处理装置，其中，

所述3D模型数据是以下格式的数据：所述对象的颜色信息由从多个方向成像的多个纹理图像表示，并且所述对象的几何信息由点的集合或多边形网格表示。

3.根据权利要求1所述的图像处理装置，其中，

所述3D模型数据是以下格式的数据：所述对象的颜色信息由从多个方向成像的多个纹理图像表示，并且所述对象的几何信息由与所述纹理图像的像素值相关联地存储距离信息的多个深度图像表示。

4.根据权利要求1所述的图像处理装置，其中，

所述3D模型选择单元基于接收到的用于指定对象的对象指定信息来选择满足所述预定条件的对象。

5.根据权利要求4所述的图像处理装置，其中，

所述对象指定信息是指示基于虚拟摄像装置的视点的观看范围的虚拟摄像装置观看范围信息。

6.根据权利要求5所述的图像处理装置，其中，

所述3D模型选择单元根据所述对象的全球定位信息的代表值是否被包括在所述虚拟摄像装置的观看范围内来确定是否满足预定条件。

7.根据权利要求4所述的图像处理装置，其中，

所述对象指定信息是关于由观看者指定为显示目标的对象的对象ID的信息。

8.根据权利要求1所述的图像处理装置，还包括：

图像选择单元，所述图像选择单元被配置成从所选择的所述对象的所述多个纹理图像中仅选择包括所述对象的纹理图像，其中，

所生成的所述3D模型数据包括从多个方向成像的多个纹理图像，并且

所述发送单元发送由所述图像选择单元选择的所述纹理图像作为所述3D模型数据的纹理图像。

9.根据权利要求8所述的图像处理装置，还包括：

切出单元，所述切出单元被配置成切出由所述图像选择单元选择的所述纹理图像的所述对象部分并且生成切出图像，其中，

所述发送单元发送由所述切出单元生成的所述切出图像作为所述3D模型数据的纹理图像。

10.根据权利要求1所述的图像处理装置，其中，

所述3D模型数据是以下格式的数据：所述对象的几何信息由点的集合表示，并且所述对象的颜色信息与所述点中的每一个相关联地保存。

11.根据权利要求1所述的图像处理装置，其中，

所述3D模型数据是以下格式的数据：所述对象的几何信息由多边形网格表示，并且所述对象的颜色信息与所述多边形网格中的每一个相关联地保存。

12.一种图像处理方法，包括以下步骤：

由图像处理装置

从多个3D模型的对象中选择满足预定条件的对象；以及

发送所选择的所述对象的3D模型数据。

13.一种图像处理装置，包括：

接收单元，所述接收单元被配置成接收从多个3D模型的对象中选择为满足预定条件的对象的所述对象的3D模型数据；以及

绘图单元，所述绘图单元被配置成基于所接收的所述对象的3D模型数据生成根据虚拟摄像装置的视点的所述对象的显示图像。

14.根据权利要求13所述的图像处理装置，其中，

所述3D模型数据是以下格式的数据：所述对象的颜色信息由从多个方向成像的多个纹理图像表示，并且所述对象的几何信息由点的集合或多边形网格表示。

15.根据权利要求13所述的图像处理装置，其中，

所述3D模型数据是以下格式的数据：所述对象的颜色信息由从多个方向成像的多个纹理图像表示，并且所述对象的几何信息由与所述纹理图像的像素值相关联地存储从所述多个方向测量的距离信息的多个深度图像表示。

16.根据权利要求13所述的图像处理装置，还包括：

虚拟视点检测单元，所述虚拟视点检测单元被配置成生成指示基于所述虚拟摄像装置的视点的观看范围的虚拟摄像装置观看范围信息，其中，

所述接收单元还发送所述虚拟摄像装置观看范围信息。

17.根据权利要求13所述的图像处理装置，还包括：

输入单元，所述输入单元被配置成接收观看者对作为显示目标的对象的指定，其中，

所述接收单元还发送关于由所述输入单元指定的对象的对象ID的信息。

18.根据权利要求13所述的图像处理装置，其中，

所述3D模型数据是以下格式的数据：所述对象的几何信息由点的集合表示，并且所述对象的颜色信息与所述点中的每一个相关联地保存。

19.根据权利要求13所述的图像处理装置，其中，

所述3D模型数据是以下格式的数据：所述对象的几何信息由多边形网格表示，并且所述对象的颜色信息与所述多边形网格中的每一个相关联地保存。

20.一种图像处理方法，包括以下步骤：

由图像处理装置

接收从多个3D模型的对象中选择为满足预定条件的对象的所述对象的3D模型数据；以及

基于所接收的所述对象的3D模型数据，生成根据虚拟摄像装置的视点的所述对象的显示图像。

Images