CN109891463B - 图像处理设备和图像处理方法 - Google Patents

Abstract

本公开内容涉及能够提高3D模型的深度图像的准确度的图像处理设备和图像处理方法。深度图像生成单元为3D模型中包括的每个对象生成多个视点的深度图像。本公开内容可应用于例如编码装置等，其被配置成基于3D模型的3D数据生成多个视点中的每个视点的每个对象的彩色图像和深度图像，通过对图像进行编码来生成编码流，并且生成指示每个对象的范围的对象范围信息。

Description

图像处理设备和图像处理方法

技术领域

本公开内容涉及图像处理设备和图像处理方法，尤其涉及能够提高3D模型深度图像的准确度的图像处理设备和图像处理方法。

背景技术

存在根据由多个相机捕获的彩色图像和深度图像生成受摄体的3D模型的技术(例如，参见非专利文件1)。

引用列表

非专利文件

非专利文件1：Saied Moezzi,Li-Cheng Tai,Philippe Gerard，“VirtualViewGeneration for 3D Digital Video”，加州大学圣地亚哥分校

发明内容

本发明要解决的问题

然而，尚未考虑提高3D模型深度图像的准确度。

鉴于这种情况做出了本公开内容，并且本公开内容旨在提高3D模型深度图像的准确度。

问题的解决方案

根据本公开内容的第一方面的图像处理设备是包括深度图像生成单元的图像处理设备，该深度图像生成单元被配置成为3D模型中包括的每个对象生成多个视点中的每个视点的深度图像。

根据本公开内容的第一方面的图像处理方法对应于根据本公开内容的第一方面的图像处理设备。

在本公开内容的第一方面中，为3D模型中包括的每个对象生成多个视点中的每个视点的深度图像。

根据本公开内容的第二方面的图像处理设备是包括对象生成单元的图像处理设备，该对象生成单元被配置成基于用于3D模型中包括的对象的多个视点中的每个视点的深度图像来生成对象。

根据本公开内容的第二方面的图像处理方法对应于根据本公开内容的第二方面的图像处理设备。

在本公开内容的第二方面中，基于3D模型中包括的对象的多个视点中的每个视点的深度图像来生成对象。

注意，根据第一方面和第二方面的图像处理设备可以通过执行计算机程序的计算机来实现。

此外，为了实现根据第一方面和第二方面的图像处理设备，由计算机执行的计算机程序可以通过由传输介质传输或记录在记录介质上来提供。发明的效果

根据本公开内容的第一方面，可以提高3D模型的深度图像的准确度。

此外，根据本公开内容的第二方面，可以基于具有提高的准确度的3D模型的深度图像来生成3D模型。

注意，本文描述的效果不必受限制，并且可以是本公开内容中描述的任何效果。

附图说明

图1是示出根据第一实施方式应用本公开内容的图像处理系统的示例性配置的框图。

图2是示出转换单元的示例性配置的框图。

图3是用于描述虚拟相机视点确定方法的图。

图4是示出深度图像生成单元的示例性配置的框图。

图5是用于描述预定虚拟相机的每个对象的深度图像的图。

图6是用于描述二维位置信息的图。

图7是用于描述最小值zmin和最大值zmax的图。

图8是示出第一实施方式中的示例性对象表的图。

图9是用于描述第一实施方式中的编码处理的流程图。

图10是用于描述主对象选择处理的细节的流程图。

图11是用于描述视点确定处理的细节的流程图。

图12是用于描述解码处理的流程图。

图13是示出根据第二实施方式应用本公开内容的图像处理系统中的转换单元的示例性配置的框图。

图14是示出示例性的对象边界框的图。

图15是示出第二实施方式中的示例性对象表的图。

图16是用于描述第二实施方式中的编码处理的流程图。

图17是示出示例性的计算机硬件配置的框图。

图18是示出车辆控制系统的示例性示意性配置的框图。

图19是示出外部信息检测部和图像捕获单元的示例性安装位置的说明图。

具体实施方式

在下文中，将描述用于实现本公开内容的模式(下文中称为实施方式)。注意，将按以下顺序给出描述。

1.第一实施方式：图像处理系统(图1至图12)

2.第二实施方式：图像处理系统(图13至图16)

3.第三实施方式：计算机(图17)

4.示例性应用：车辆控制系统(图18和图19)

<第一实施方式>

(图像处理系统的示例性配置)

图1是示出根据第一实施方式的应用本公开内容的图像处理系统的示例性配置的框图。

图1中的图像处理系统10包括图像捕获装置11、编码装置12(图像处理设备)、解码装置13(图像处理设备)和显示装置14。图像处理系统10通过使用由图像捕获装置11获取的彩色图像和深度图像来生成显示视点的彩色图像，并且显示该彩色图像。

具体地，图像处理系统10的图像捕获装置11包括例如多相机、距离测量测量装置和图像处理单元。图像捕获装置11的多相机包括多个相机并且通过相机来捕获受摄体的彩色图像的运动图像，其中的每一个的至少一部分是共有的。距离测量测量装置例如被提供至每个相机，并且生成与相机的视点相同的视点的深度图像的运动图像。

图像捕获装置11的图像处理单元通过通过使用每个相机的视点的彩色图像和深度图像的运动图像以及每个相机的世界坐标系(3D坐标系)上的外部参数和内部参数为每个帧计算视觉外壳等来生成受摄体的3D模型。图像处理单元生成多边形网格的形状信息(几何结构)和颜色信息作为受摄体的3D数据，该形状信息指示构成3D模型的每个多边形网格的每个顶点(至高点(vertex))的三维位置和顶点m之间的连接。

在图像处理单元处生成3D数据的方法可以是在例如非专利文件1等中公开的方法。注意，3D数据可以包括每个相机的视点的形状信息和彩色图像。图像处理单元将3D数据提供至编码装置12。

编码装置12包括转换单元21、编码单元22、存储单元23和传输单元24。

编码装置12的转换单元21基于从图像捕获装置11提供的3D数据针对每个帧将受摄体的3D模型划分成一个或更多个对象。此外，对于每个帧，转换单元21基于该帧和前一帧的3D数据来确定与生成的深度图像对应的每个虚拟相机的视点，使得主对象的在每个虚拟相机的生成的深度图像上的位置的时间变化减小。在该示例中，与生成的深度图像和彩色图像对应的虚拟相机的视点相同，但是与深度图像和彩色图像对应的虚拟相机以及虚拟相机的数量可以不同。

转换单元21生成每个确定的视点的虚拟相机的世界坐标系上的外部参数和内部参数。此外，转换单元21向每个虚拟相机应用该虚拟相机唯一的相机ID。转换单元21基于虚拟相机的外部参数和内部参数以及帧的对象的3D数据，生成由每个虚拟相机捕获的每个帧的每个对象的彩色图像以及与该彩色图像对应的深度图像。

例如，IEICE,CS,通信方法110(323),73-78,2010-11-25的Masayuki Tanimoto，“Toward the Ultimate Video Communication”技术报告等可以被采用作为产生彩色图像的方法和来自3D数据的深度图像。

转换单元21将每个虚拟相机的每个对象的彩色图像和深度图像提供至编码单元22。此外，转换单元21将每个虚拟相机的外部参数、内部参数和相机ID提供至存储单元23作为虚拟视点信息。

另外，转换单元21生成例如指示对象的范围的对象范围信息以及与该对象对应的彩色图像ID和深度图像ID作为用于每个对象的对象信息。彩色图像ID是彩色图像唯一的ID，并且深度图像ID是该深度图像唯一的ID。转换单元21生成对象表，每个对象的对象信息被登记到该对象表。转换单元21将对象表提供至存储单元23。

编码单元22对从转换单元21提供的每个虚拟相机的每个对象的彩色图像和深度图像进行编码。编码方案可以是例如高级视频编码(AVC)方案或高效率视频编码(HEVC)方案。编码单元22将通过编码获得的编码流提供至存储单元23。

存储单元23存储从转换单元21提供的虚拟视点信息和对象表以及从编码单元22提供的编码流。

传输单元24读取存储在存储单元23中的虚拟视点信息和对象表作为元数据并将元数据发送到解码装置13，并且还读取编码流并将编码流发送到解码装置13。

解码装置13包括接收单元31、解码单元32、重构单元33和绘图单元34。显示视点的世界坐标系上的外部参数和内部参数通过观看显示装置14的用户被输入到解码装置13，并且被提供至绘图单元34作为显示视点信息。

解码装置13的接收单元31接收从编码装置12的传输单元24发送的虚拟视点信息、对象表和编码流。接收单元31将虚拟视点信息和对象表提供至重构单元33，并且将编码流提供至解码单元32。

解码单元32通过与编码单元22处的编码方案对应的方案对从接收单元31提供的编码流进行解码。解码单元32将因此而获得的每个虚拟相机的每个对象的彩色图像和深度图像提供至重构单元33。

类似于图像捕获装置11的图像处理单元，重构单元33(对象生成单元)基于每个虚拟相机的每个对象的对象表、彩色图像和深度图像以及虚拟视点信息来重构(生成)每个对象的3D数据。重构单元33将每个对象的3D数据提供至绘图单元34。

与转换单元21类似，绘图单元34基于从重构单元33提供的每个对象的显示视点信息和3D数据，在显示视点处生成通过对所有对象进行图像捕获而获得的彩色图像作为显示图像。绘图单元34将显示图像提供至显示装置14。

显示装置14包括例如二维头戴式显示器(HMD)或二维监视器。显示装置14基于从重构单元33提供的显示图像来二维地显示显示图像。

注意，显示装置14可以包括三维头戴式显示器、三维监视器等。在这种情况下，类似于转换单元21，绘制单元34基于每个对象的显示视点信息和3D数据生成显示视点的深度图像，并且将深度图像提供至显示装置14。显示装置14基于从绘图单元34提供的显示图像和深度图像来三维地显示显示图像。

此外，在图1中所示的示例中，重构单元33生成3D模型中包括的所有对象的3D数据，但是可以仅生成3D模型中包括的所有对象之中的由观看者等指定的预定对象的3D数据。

(转换单元的示例性配置)

图2是示出图1中的转换单元21的示例性配置的框图。

图2中的转换单元21包括对象确定单元51、视点确定单元52、彩色图像生成单元53、深度图像生成单元54、对象范围信息生成单元55和对象表生成单元56。

转换单元21的对象确定单元51基于从图1中的图像捕获装置11提供的3D数据，针对每个帧将受摄体的3D模型划分成一个或更多个对象。此外，对象确定单元51对每个对象应用对象唯一的对象ID。对象确定单元51针对每个帧将彼此相关联的每个对象的3D数据和对象ID提供至视点确定单元52、彩色图像生成单元53和深度图像生成单元54。

视点确定单元52在将3D数据与对象ID相关联的同时保持当前帧的前一帧的每个对象的3D数据和对象ID。此外，视点确定单元52保持当前帧的前一帧的虚拟视点信息。视点确定单元52基于从对象确定单元51提供的每个对象的3D数据，针对每个帧从所有对象之中选择一个主对象。然后，视点确定单元52基于从对象确定单元51提供的每个对象的3D数据与对象ID之间的对应关系来识别所选择的主对象的对象ID。

视点确定单元52基于所识别的主对象的对象ID和所保持的前一帧的每个对象的3D数据与对象ID之间的对应关系来读取前一帧的主对象的3D数据。视点确定单元52基于所读取的前一帧的主对象的3D数据、虚拟视点信息和当前帧的主对象的3D数据来确定与由深度图像生成单元54生成的当前帧的深度图像对应的多个虚拟相机的视点。

具体地，视点确定单元52针对每个虚拟相机改变前一帧的虚拟相机的视点，使得主对象的在由深度图像生成单元54生成的当前帧的深度图像上的位置的时间改变减小，并且确定虚拟相机的改变的视点作为当前帧的虚拟相机的视点。

视点确定单元52生成每个确定的视点的虚拟相机的虚拟视点信息，并且将虚拟视点信息提供至彩色图像生成单元53、深度图像生成单元54和图1中的存储单元23。此外，视点确定单元52保持当前帧的虚拟视点信息。此外，视点确定单元52在将3D数据与对象ID相关联的同时保持每个对象的3D数据和对象ID。

彩色图像生成单元53基于从对象确定单元51提供的每个对象的3D数据和从视点确定单元52提供的虚拟视点信息，为每个对象生成每个虚拟相机的彩色图像。彩色图像生成单元53将每个虚拟相机的每个对象的彩色图像提供至图1中的编码单元22。此外，彩色图像生成单元53将彩色图像ID应用于每个彩色图像。彩色图像生成单元53将与每个虚拟相机的每个对象的彩色图像的彩色图像ID、虚拟相机的相机ID和对象的对象ID相关联地提供至对象表生成单元56。

深度图像生成单元54基于从对象确定单元51提供的每个对象的3D数据和从视点确定单元52提供的虚拟视点信息，为每个对象生成多个虚拟相机中的每一个的深度图像。

该深度图像例如是以下图像，其中通过量化在深度方向上与每个像素对应的对象与虚拟相机之间的距离z而获得的值是该像素的像素值。此外，距离z的量化步长是通过将深度图像中的距离z的范围除以深度图像的像素值的容许范围而获得的值。

深度图像生成单元54为每个对象生成深度图像，并且因此，并且因此深度图像中的距离z的范围的大小等于或小于所有对象的深度图像中的距离z的范围的大小。因此，针对每个对象的深度图像中的距离z的范围是适合于对象的范围。因此，与所有对象的深度图像的量化步长相比，每个对象的深度图像的量化步长减小。因此，与所有对象的深度图像中的每个对象的准确度相比，每个对象的深度图像的准确度提高。

深度图像生成单元54将每个虚拟相机的每个对象的深度图像提供至图1中的编码单元22。此外，深度图像生成单元54将深度图像ID应用于每个深度图像。深度图像生成单元54将每个虚拟相机的每个对象的深度图像的深度图像ID、虚拟相机的相机ID和对象的对象ID相关联地提供至对象表生成单元56。

此外，深度图像生成单元54生成指示对象在每个深度图像上的二维位置的范围的二维位置信息。另外，深度图像生成单元54生成指示用于生成每个深度图像的距离z的范围的距离z的最小值zmin和最大值zmax。深度图像生成单元54将每个深度图像的二维位置信息、最小值zmin和最大值zmax与对应于深度图像的相机ID和对象ID相关联地提供至对象范围信息生成单元55。

对象范围信息生成单元55生成从深度图像生成单元54提供的二维位置信息、最小值zmin和最大值zmax作为每个对象ID和每个相机ID的对象范围信息，并且将对象范围信息提供至对象表生成单元56。

对象表生成单元56生成与对象ID和相机ID相关联地登记彩色图像ID、深度图像ID和与对象ID和相机ID对应的对象范围信息的表。对象表生成单元56将所生成的表作为对象表提供至图1中的存储单元23，该对象表是与对象相关的表。

如上所述，转换单元21改变深度图像的视点，使得主对象的在帧之间的深度图像上的位置的变化减小。因此，即使在主对象正在移动的情况下，转换单元21也可以生成深度图像，其中与主对象对应的像素值总是存在于基本相同的位置处。因此，在编码单元22对深度图像进行编码时的编码流中包括的运动矢量可能减小，并且深度图像的压缩比提高。

(虚拟相机视点确定方法的描述)

图3是用于描述由图2中的视点确定单元52进行的虚拟相机视点确定的方法的图。

视点确定单元52基于从对象确定单元51提供的多个对象的3D数据将主对象确定为多个对象之一。具体地，视点确定单元52将主对象确定为多个对象之中的具有最大边界框的对象。在图3所示的示例中，主对象是对象71。

随后，视点确定单元52基于从对象确定单元51提供的对象71的3D数据在世界坐标系上生成主对象71。在图3所示的示例中，当前帧与前一帧之间在X方向上虚拟相机的视角是角度θ。此外，在当前帧处，对象71在前一帧的预定虚拟相机的相机坐标系中在x方向(图中的右方向)上移动，并且世界坐标系上对象71的重心71A的三维位置s移动到三维位置s'。相机坐标系是xyz坐标，其具有在虚拟相机的世界坐标系上的三维位置处的原点o以及在虚拟相机的深度方向上的z方向。

在这种情况下，如图3的A中所示，当存在于前一帧的原点o处的虚拟相机被用作当前帧的虚拟相机时，对象71在虚拟相机的深度图像72上的位置p1在x方向上移动，变为位置p1'。

因此，视点确定单元52基于当前帧的对象71的3D数据将对象71的重心71A投射到深度图像72上。此外，视点确定单元52基于当前帧的前一帧的对象71的3D数据将重心71A投射到深度图像72上。然后，视点确定单元52计算在x方向上在深度图像72上从前一帧的重心71A的位置p1到当前帧的重心71A的位置p1'的平移移动量d。然后，视点确定单元52通过将当前帧的深度图像的虚拟相机的视点确定为视点a来消除对象71在x方向上的移动，其中该视点a在与x方向相反的方向上从原点o平移了平移移动量d。

因此，如图3的B中所示，在具有原点o处的视点的深度图像72上重心71A的位置p2与在视点a的深度图像73上重心71A的位置p2'之间的差基本上为零。视点确定单元52以类似的方式移动任何其他虚拟相机的视点。

如上所述，视点确定单元52通过基于对象71的运动来移动虚拟相机的视点来消除运动，从而减小重心71A在深度图像上的位置的时间变化。

(深度图像生成单元的示例性配置)

图4是示出图2中的深度图像生成单元54的示例性配置的框图。

图4中的深度图像生成单元54包括z范围计算单元81、二维位置信息计算单元82和图像生成单元83。从图2中的对象确定单元51提供的每个对象的3D数据和对象ID以及从视点确定单元52提供的虚拟视点信息被提供至z范围计算单元81、二维位置信息计算单元82和图像生成单元83。

深度图像生成单元54的z范围计算单元81基于每个对象的3D数据和虚拟视点信息来计算每个虚拟相机的每个对象的深度图像中的最小值zmin和最大值zmax。z范围计算单元81将每个深度图像中的最小值zmin和最大值zmax与对应于该深度图像的相机ID和对象ID相关联地提供至图2中的对象范围信息生成单元55。此外，z范围计算单元81将每个对象和每个虚拟相机的最小值zmin和最大值zmax提供至图像生成单元83。

二维位置信息计算单元82基于每个对象的3D数据和虚拟视点信息，计算对象在虚拟相机的对象的深度图像上的二维位置信息。二维位置信息计算单元82将每个深度图像的二维位置信息与对应于该深度图像的相机ID和对象ID相关联地提供至图2中的对象范围信息生成单元55。此外，二维位置信息计算单元82将每个对象和每个虚拟相机的二维位置信息提供至图像生成单元83。

图像生成单元83针对每个对象和每个虚拟相机，基于对象的3D数据和虚拟视点信息来计算投射到以下范围中的每个像素上的对象的距离z：该范围由从二维位置信息计算单元82提供的二维位置信息所指示。图像生成单元83基于从z范围计算单元81提供的最小值zmin和最大值zmax，针对每个对象和每个虚拟相机来量化每个像素的距离z，并且生成像素值。图像生成单元83针对每个对象和每个虚拟相机生成深度图像，其中，在该深度图像上的由二维位置信息所指示的范围中的每个像素的像素值是所生成的像素值，并且任何其他像素的像素值是可选的固定值，并且将深度图像提供至图1中的编码单元22。

此外，图像生成单元83将深度图像ID应用于每个深度图像。然后，图像生成单元83将每个虚拟相机的每个对象的深度图像的深度图像ID、虚拟相机的相机ID和对象的对象ID相关联地提供至图2中的对象表生成单元56。

(预定虚拟相机的每个对象的深度图像的描述)

图5是用于描述由图2中的深度图像生成单元54生成的预定虚拟相机的每个对象的深度图像的图。

在图5所示的示例中，受摄体的3D模型90被划分成三个对象91至93。此外，彩色图像100是预定虚拟相机的整个3D模型90的彩色图像。

在这种情况下，深度图像生成单元54基于对象91的3D数据和虚拟视点信息来生成深度图像101，在与彩色图像100上的对象91的区域对应的区域中的该深度图像101的像素值具有指示对象91的距离z的预定大小(分辨率)。除了像素值表示对象91的距离z的像素之外的、深度图像101的任何像素的像素值是可选的固定值(在图5所示的示例中为零)。

类似地，深度图像生成单元54基于对象92的3D数据和虚拟视点信息生成具有预定大小的深度图像102，并且基于对象93的3D数据和虚拟视点信息生成具有预定大小的深度图像103。

注意，深度图像的大小对于每个对象可以是不同的。在这种情况下，例如，深度图像生成单元54生成深度图像111，在与彩色图像100上的对象91的区域对应的区域中的该深度图像111的像素值指示对象91的距离z，并且深度图像111具有包括该区域的最小矩形形状。类似地，深度图像生成单元54生成具有最小矩形形状的深度图像112，该最小矩形形状包括与彩色图像100上的对象91的区域对应的区域，并且生成具有最小矩形形状的深度图像113，该最小矩形形状包括与彩色图像100上的对象91的区域对应的区域。

在这种情况下，与生成整个3D模型的深度图像的情况相比，可以减少深度图像的数据量。因此，编码装置12可以减少深度图像的传输量。

(二维位置信息的描述)

图6是用于描述由图2中的深度图像生成单元54生成的二维位置信息的图。

如图6所示，在深度图像130上的对象131的uv坐标系上，深度图像130的二维位置信息包括u坐标的最小值umin和最大值umax，以及v坐标的最小值vmin和最大值vmax。uv坐标系是二维坐标系，其具有在深度图像的右上位置处的原点o、在左方向上的v方向、以及在向下方向上的u方向。

(最小值zmin和最大值zmax的描述)

图7是用于描述最小值zmin和最大值zmax的图。

如图7所示，用于对预定虚拟相机的对象151的深度图像的像素值进行量化的最小值zmin和最大值zmax是对象151在虚拟相机的相机坐标系上的z坐标的最小值和最大值。

(对象表的第一示例)

图8是示出由图2中的对象表生成单元56生成的示例性对象表的图。

如图8所示，在对象表中，深度图像ID、彩色图像ID和对象范围信息与相机ID和对象ID相关联地登记。

在图8所示的示例中，彩色图像和深度图像的虚拟相机的数量是2，并且两个虚拟相机的相机ID是0和1。此外，对象的数量是3，并且三个对象的对象ID是0、1和2。因此，彩色图像的数量和深度图像的数量均为6(＝2×3)。

此外，对象ID为0、1和2的对象和相机ID为0的虚拟相机的深度图像的深度图像ID以及其彩色图像的彩色图像ID为0、1和2。另外，对象ID为0、1和2的对象和相机ID为1的虚拟相机的深度图像的深度图像ID以及其彩色图像的彩色图像ID为3、4和5。

解码装置13可以基于登记到对象表的每个对象范围信息和每个虚拟视点信息，识别每个虚拟相机的相机坐标系上的包括每个对象的三维区域。因此，解码装置13可以基于虚拟视点信息和每个虚拟相机的相机坐标系上的包括每个对象的三维区域来识别世界坐标系上的包括该对象的三维区域。

因此，解码装置13可以通过使用每个虚拟相机的对象的深度图像和彩色图像，利用世界坐标系上的所识别的三维区域作为处理区域来重构每个对象。因此，与利用世界坐标系上的虚拟相机的整个图像捕获区域作为处理区域来重构对象的情况相比，可以容易地重构对象。

此外，解码装置13可以基于与深度图像ID相关联地登记到对象表的最小值zmin和最大值zmax，将每个深度图像ID的深度图像的像素值逆量化为距离z。

(图像处理系统的处理的描述)

图9是用于描述由图1中的编码装置12进行的编码处理的流程图。例如，当从图像捕获装置11提供每帧的3D数据时，开始该编码处理。

在图9中的步骤S11处，编码装置12的转换单元21的对象确定单元51(图2)基于从图像捕获装置11提供的3D数据将受摄体的3D模型划分成一个或更多个对象。此外，对象确定单元51将对象ID应用于每个对象。对象确定单元51将每个对象的3D数据和对象ID提供至视点确定单元52、彩色图像生成单元53和深度图像生成单元54。

在步骤S12处，视点确定单元52基于从对象确定单元51提供的每个对象的3D数据，执行从所有对象之中选择一个主对象的主对象选择处理。稍后将参照图10详细描述主对象选择处理。

在步骤S13处，视点确定单元52执行确定与所生成的彩色图像和深度图像对应的每个虚拟相机的视点的视点确定处理。稍后将参照图11详细描述视点确定处理。

在步骤S14处，彩色图像生成单元53基于从对象确定单元51提供的每个对象的3D数据和从视点确定单元52提供的虚拟视点信息，为每个对象生成每个虚拟相机的彩色图像。彩色图像生成单元53将每个虚拟相机的每个对象的彩色图像提供至图1中的编码单元22。此外，彩色图像生成单元53将彩色图像ID应用于每个彩色图像。彩色图像生成单元53将每个虚拟相机的每个对象的彩色图像的彩色图像ID、虚拟相机的相机ID和对象的对象ID相关联地提供至对象表生成单元56。

在步骤S15处，深度图像生成单元54的z范围计算单元81(图4)基于每个对象的3D数据和虚拟视点信息来计算每个虚拟相机的每个对象的深度图像中的最小值zmin和最大值zmax。z范围计算单元81将每个深度图像中的最小值zmin和最大值zmax与对应于深度图像的相机ID和对象ID相关联地提供至对象范围信息生成单元55。此外，z范围计算单元81将每个对象和每个虚拟相机的最小值zmin和最大值zmax提供至图像生成单元83。

在步骤S16处，二维位置信息计算单元82基于每个对象的3D数据和虚拟视点信息，计算在每个虚拟相机的每个对象的深度图像上对象的二维位置信息。二维位置信息计算单元82将每个深度图像的二维位置信息与对应于深度图像的相机ID和对象ID相关联地提供至对象范围信息生成单元55。此外，二维位置信息计算单元82将每个对象和每个虚拟相机的二维位置信息提供至图像生成单元83。

在步骤S17处，图像生成单元83基于对象的3D数据和虚拟视点信息以及对象和虚拟相机的最小值zmin、最大值zmax和二维位置信息来生成每个虚拟相机的每个对象的深度图像。图像生成单元83将每个虚拟相机的每个对象的深度图像提供至编码单元22。此外，图像生成单元83将深度图像ID应用于每个深度图像。然后，图像生成单元83将每个虚拟相机的每个对象的深度图像的深度图像ID、虚拟相机的相机ID和对象的对象ID相关联地提供至对象表生成单元56。

在步骤S18处，对象范围信息生成单元55生成每个对象ID和每个相机ID的二维位置信息、最小值zmin和最大值zmax作为对象范围信息，并且将对象范围信息提供至对象表生成单元56。

在步骤S19处，对象表生成单元56生成对象表，其中，与对象ID和相机ID相关联地登记与对象ID和相机ID对应的彩色图像ID、深度图像ID和对象范围信息。对象表生成单元56将对象表提供至存储单元23。

在步骤S20处，编码单元22对每个虚拟相机的每个对象的彩色图像和深度图像进行编码。编码单元22将通过编码获得的编码流提供至存储单元23。

在步骤S21处，存储单元23存储虚拟视点信息、对象表和编码流。

在步骤S22处，传输单元24读取存储在存储单元23中的虚拟视点信息、对象表和编码流，并且将虚拟视点信息、对象表和编码流发送到解码装置13。然后，该过程结束。

图10是用于描述图9中的步骤S12处的主对象选择处理的细节的流程图。

在图10中的步骤S30处，视点确定单元52从对象确定单元51获取每个对象的3D数据和对象ID。在步骤S31处，视点确定单元52将计数值P设置为零。

在步骤S32处，视点确定单元52基于从对象确定单元51获取的对象ID等于计数值P的对象的3D数据来产生世界坐标系上的对象的边界框。

在步骤S33处，视点确定单元52确定在步骤S32处产生的边界框的大小是否大于最大值MaxSize。注意，最大值MaxSize的初始值为零。因此，在尚未执行步骤S34处的处理的情况下，步骤S33处的处理确定步骤S32处产生的边界框的大小大于最大值MaxSize。

当在步骤S33处确定步骤S32处产生的边界框的大小大于最大值MaxSize的情况下，处理进行至步骤S34。

在步骤S34处，视点确定单元52将步骤S32处产生的对象ID等于计数值P的对象的边界框的大小设置为最大值MaxSize。

在步骤S35处，视点确定单元52将主对象设置为对象ID等于计数值P的对象，并且处理进行至步骤S36。

此外，当在步骤S33处确定步骤S32处产生的边界框的大小不大于最大值MaxSize的情况下，处理进行至步骤S36。

在步骤S36处，视点确定单元52确定计数值P是否等于对象ID的最大值。当在步骤S36处确定计数值P不等于对象ID的最大值的情况下，换句话说，在尚未对所有对象执行步骤S32至步骤S35处的处理的情况下，处理进行至步骤S37。

在步骤S37处，视点确定单元52将计数值P递增1，并且处理返回到步骤S32。因此，重复步骤S32至步骤S37处的处理，直到计数值P变得等于对象ID的最大值。

此外，当在步骤S36确定计数值P等于对象ID的最大值的情况下，换句话说，在对所有对象执行步骤S32至步骤S35处的处理的情况下，视点确定单元52选择被设置为当前主对象的对象作为最终主对象。然后，处理返回到图9中的步骤S12，并且进行至步骤S13。

图11是用于描述图9中的步骤S13处的视点确定处理的细节的流程图。例如，对每个虚拟相机执行视点确定处理。

在图11中的步骤S51处，视点确定单元52基于所保持的前一帧的主对象的3D数据，计算世界坐标系上的前一帧的主对象的重心的三维位置。此外，视点确定单元52基于从对象确定单元51提供的当前帧(处理目标帧)的主对象的3D数据，计算世界坐标系上的当前帧的主对象的重心的三维位置。

在步骤S52处，视点确定单元52基于步骤S51处计算的三维位置和所保持的前一帧的虚拟视点信息来计算位置，在所计算位置处，前一帧和当前帧的主对象的重心被投射在处理目标虚拟相机的深度图像上。

在步骤S53处，视点确定单元52通过将前一帧的处理目标虚拟相机的视点从前一帧的重心的位置向当前帧的重心的位置移动一个移动量来确定当前帧的处理目标虚拟相机的视点，前一帧和当前帧的主对象的重心的位置在步骤S52处计算。

在步骤S54处，视点确定单元52生成步骤S53处确定的视点的虚拟相机的外部参数、内部参数和相机ID，并且将外部参数、内部参数和相机ID提供至彩色图像生成单元53、深度图像生成单元54和存储单元23。

在步骤S55处，视点确定单元52保持步骤S54处生成的外部参数、内部参数和相机ID。然后，处理返回到图9中的步骤S13，并且进行至步骤S14。

图12是用于描述由图1中的解码装置13进行的解码处理的流程图。例如，当从编码装置12的传输单元24为每个帧发送编码流、虚拟视点信息和对象表时，开始解码处理。

在图12中的步骤S71处，解码装置13的接收单元31接收从编码装置12的传输单元24发送的虚拟视点信息、对象表和编码流。接收单元31将虚拟视点信息和对象表提供至重构单元33，并且将编码流提供至解码单元32。

在步骤S72处，解码单元32以与编码单元22处的编码方案对应的方案对从接收单元31提供的编码流进行解码。解码单元32将因此而获得的每个虚拟相机的每个对象的彩色图像和深度图像提供至重构单元33。

在步骤S73处，重构单元33通过基于从接收单元31提供的对象表的最小值zmin和最大值zmax对从解码单元32提供的每个深度图像的像素值进行逆量化来获得距离z。

在步骤S74处，重构单元33基于对象表和虚拟视点信息，针对每个对象来识别世界坐标系上包括该对象的三维区域。

在步骤S75处，重构单元33基于与对象的深度图像的每个像素对应的距离z、彩色图像和虚拟视点信息，重构步骤S74处识别出的三维区域中的每个对象。重构单元33将重构对象的3D数据提供至绘图单元34。

在步骤S76处，类似于转换单元21，绘图单元34基于从重构单元33提供的每个对象的显示视点信息和3D数据，生成通过对显示视点处的所有对象的图像捕获而获得的彩色图像作为显示图像。绘图单元34将显示图像提供至显示装置14。

如上所述，编码装置12生成每个对象的深度图像。因此，每个深度图像中的距离z的范围等于或小于整个3D模型的深度图像中的距离z的范围。因此，与生成整个3D模型的深度图像的情况相比，3D模型深度图像的准确度提高。

此外，编码装置12生成每个对象的对象范围信息。因此，解码装置13可以基于对象的对象范围信息和虚拟视点信息，针对每个对象来识别世界坐标系上包括对象的三维区域。因此，解码装置13可以利用作为处理区域的包括对象的三维区域来重构每个对象。因此，与处理区域是世界坐标系上的虚拟相机的整个图像捕获区域的情况相比，减少了对象重构处理的负荷。

<第二实施方式>

(转换单元的示例性配置)

除了转换单元21的配置和对象表的配置之外，根据第二实施方式应用本公开内容的图像处理系统的配置与图1中的图像处理系统10的配置相同。因此，下面将适当地省略除转换单元21之外的部件的描述。

图13是示出根据第二实施方式应用本公开内容的图像处理系统中的转换单元21的示例性配置的框图。

在图13中所示的配置中，与图2中所示的配置中的部件相同的任何部件由相同的附图标记表示。适当时省略重复的描述。

图13中的转换单元21的配置与图2中的配置的不同之处在于：提供视点确定单元170、深度图像生成单元171、对象范围信息生成单元172和对象表生成单元173来分别替代视点确定单元52、深度图像生成单元54、对象范围信息生成单元55和对象表生成单元56。图13中的转换单元21生成指示世界坐标系上的每个对象的边界框的范围的信息作为对象范围信息。

具体地，类似于图2中的视点确定单元52，图13中的转换单元21的视点确定单元170执行图10中的主对象选择处理和图11中的视点确定处理。视点确定单元170通过图10中的步骤S32处的处理，将世界坐标系上产生的每个对象的边界框的X、Y和Z坐标中的每一个的最小值和最大值与对象的对象ID相关联地提供至对象范围信息生成单元172。

深度图像生成单元171基于从对象确定单元51提供的对象的3D数据和从视点确定单元52提供的虚拟视点信息，为每个对象生成每个虚拟相机的深度图像。深度图像生成单元171将每个虚拟相机的每个对象的深度图像提供至图1中的编码单元22。此外，深度图像生成单元171将深度图像ID应用于每个深度图像。深度图像生成单元171将每个虚拟相机的每个对象的深度图像的深度图像ID、虚拟相机的相机ID和对象的对象ID相关联地提供至对象表生成单元173。

对象范围信息生成单元172生成从视点确定单元170提供的对象的X坐标的最小值Xmin和最大值Xmax、Y坐标的最小值Ymin和最大值Ymax以及Z坐标的最小值Zmin和最大值Zmax作为每个对象的对象范围信息。对象范围信息生成单元172将每个对象的对象范围信息和对象的对象ID相关联地提供至对象表生成单元173。

对象表生成单元173生成ID表，其中，与对象ID和相机ID相关联地登记与对象ID和相机ID对应的彩色图像ID和深度图像ID。此外，对象表生成单元173生成范围表，其中，在将对象ID与对象范围信息相关联的同时，登记对象ID和从对象范围信息生成单元172提供的对象范围信息。对象表生成单元173将ID表和范围表作为对象表提供至图1中的存储单元23。

(示例性对象边界框)

图14是示出由图13中的视点确定单元170生成的示例性对象边界框的图。

如图14所示，对象191的边界框192是长方体(包括立方体)，与对象接触地生成该长方体并且该长方体包括例如平行于X方向、Y方向和Z方向中的每一个方向的两个边。边界框192的X坐标的最小值Xmin和最大值Xmax、Y坐标的最小值Ymin和最大值Ymax以及Z坐标的最小值Zmin和最大值Zmax是对象191的对象范围信息。

(示例性对象表)

图15是示出由图13中的对象表生成单元173生成的示例性对象表的图。

注意，图15的示例中的相机ID、对象ID、深度图像ID和彩色图像ID与图8的示例中的相机ID、对象ID、深度图像ID和彩色图像ID相同。

如图15所示，由对象表生成单元173生成的对象表包括图15的A中的ID表和图15的B中的范围表。

除了没有登记对象范围信息之外，图15的A中的ID表类似于图8中的对象表。换句话说，深度图像ID和彩色图像ID与相机ID和对象ID相关联地登记至图15的A中的ID表。

将对象ID的对象的边界框的最小值Xmin、最大值Xmax、最小值Ymin、最大值Ymax、最小值Zmin和最大值Zmax作为与对象ID相关联的对象范围信息登记至图15的B中的范围表。

解码装置13可以基于登记至范围表的每个对象范围信息来识别世界坐标系上的每个对象的边界框的三维区域。此外，解码装置13可以基于与对象ID相关联地登记到ID表的彩色图像ID和深度图像ID来识别每个对象的彩色图像和深度图像。

因此，解码装置13可以通过使用对象的深度图像和彩色图像，利用作为处理区域的所识别的世界坐标系上的三维区域来重构每个对象。因此，与利用作为处理区域的世界坐标系上的虚拟相机的整个图像捕获区域来重构对象的情况相比，可以容易地重构对象。

此外，解码装置13可以基于登记到范围表的每个对象范围信息和每个虚拟视点信息来计算每个深度图像中的距离z的最小值zmin和最大值zmax。因此，解码装置13可以基于计算出的最小值zmin和最大值zmax将每个深度图像的像素值逆量化为距离z。

(图像处理系统的处理的描述)

图16是用于描述由根据第二实施方式应用本公开内容的图像处理系统中的编码装置12进行的编码处理的流程图。例如，当从图像捕获装置11提供每帧的3D数据时，开始该编码处理。

图16中的步骤S91至步骤S94处的处理类似于图9中的步骤S11至步骤S14处的处理，并且因此省略其描述。

在步骤S95处，深度图像生成单元171基于从对象确定单元51提供的对象的3D数据和从视点确定单元52提供的虚拟视点信息，为每个对象生成每个虚拟相机的深度图像。深度图像生成单元171将每个虚拟相机的每个对象的深度图像提供至编码单元22。此外，深度图像生成单元171将深度图像ID应用到每个深度图像。深度图像生成单元171将每个虚拟相机的每个对象的深度图像的深度图像ID、虚拟相机的相机ID和对象的对象ID相关联地提供至对象表生成单元173。

在步骤S96处，对象范围信息生成单元172生成通过步骤S92处的处理产生的对象的边界框的最小值Xmin、最大值Xmax、最小值Ymin、最大值Ymax、最小值Zmin和最大值Zmax作为每个对象的对象范围信息。对象范围信息生成单元172将每个对象的对象范围信息和对象的对象ID相关联地提供至对象表生成单元173。

在步骤S97处，对象表生成单元173生成ID表和范围表作为对象表，并且将ID表和范围表提供至存储单元23。

步骤S98至步骤S100处的处理类似于图9中的步骤S20至步骤S22处的处理，并且因此省略其描述。

注意，在第一实施方式和第二实施方式中，为所有对象确定相同的虚拟视点信息，但是可以为每个对象确定虚拟视点信息。在这种情况下，视点确定单元52基于当前帧的对象的3D数据、前一帧的3D数据和虚拟视点信息，针对每个对象来确定当前帧的深度图像的视点，使得对象在每个视点的深度图像上的位置的时间变化减小。

此外，视点确定单元52可以将主对象确定为多个对象之中具有最大数量的构成对象的多边形的表面(面)的对象。

<第三实施方式>

(应用本公开内容的计算机的描述)

上述一系列处理可以由硬件或软件执行。在通过软件执行一系列处理的情况下，将构成软件的计算机程序安装在计算机上。例如，计算机可以是结合在专用硬件中的计算机，或者当安装有各种计算机程序时能够执行各种功能的通用个人计算机等。

图17是示出被配置成通过计算机程序执行上述一系列处理的计算机的硬件的示例性配置的框图。

在计算机200中，中央处理单元(CPU)201、只读存储器(ROM)202和随机存取存储器(RAM)203通过总线204彼此连接。

总线204还与输入输出接口205连接。输入输出接口205与输入单元206、输出单元207、存储单元208、通信单元209和驱动器210连接。

输入单元206通过键盘、鼠标、麦克风等实现。输出单元207由显示器、扬声器等实现。存储单元208由硬盘、非暂态性存储器等实现。通信单元209通过网络接口等实现。驱动器210驱动可移除介质211，例如磁盘、光盘、磁光盘或半导体存储器。

在如上所述配置的计算机200中，当CPU 201通过输入输出接口205和总线204将存储在例如存储单元208中的计算机程序加载到RAM 203上并且执行计算机程序时，执行上述一系列处理。

由计算机200(CPU 201)执行的计算机程序可以例如作为封装介质等被记录在可移除介质211中并且被提供。此外，可以通过诸如局域网、因特网和数字卫星广播的有线和无线传输介质来提供计算机程序。

在计算机200中，当可移除介质211安装在驱动器210上时，计算机程序可以通过输入输出接口205安装在存储单元208上。此外，计算机程序可以由通信单元209通过有线和无线传输介质来接收并被安装在存储单元208上。可替选地，计算机程序可以预先安装在ROM202或存储单元208上。

注意，由计算机200执行的计算机程序可以是按照本说明书中的描述顺序以时间上连续的方式处理的计算机程序，或者可以是并行处理或在呼叫后的必要时间内处理的计算机程序等。

<示例性应用>

根据本公开内容的实施方式的技术适用于各种产品。例如，根据本公开内容的实施方式的技术可以实现为安装在如下任何种类的移动对象上的装置：例如汽车、电动车辆、混合动力车辆、摩托车、自行车、个人移动装置、飞机、无人机、船舶、机器人、建筑机械和农业机械(拖拉机)。

图18是示出作为可应用根据本公开内容的实施方式的技术的示例性运动对象控制系统的车辆控制系统7000的示例性示意性配置的框图。车辆控制系统7000包括通过通信网络7010彼此连接的多个电子控制单元。在图18所示的示例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、外部信息检测单元7400、内部信息检测单元7500和集成控制单元7600。连接这些多个控制单元的通信网络7010可以是符合可选标准的车载通信网络，例如控制器局域网(CAN)、本地互连网络(LIN)、局域网(LAN)或FlexRay(注册商标)。

每个控制单元包括：微计算机，其被配置成根据各种计算机程序执行运算处理；存储单元，其被配置成存储例如由微计算机执行的计算机程序和用于各种计算的参数；以及驱动电路，其被配置成驱动各种类型的控制目标装置。每个控制单元包括用于通过通信网络7010执行与另外的控制单元的通信的网络I/F、以及用于通过有线通信或无线通信执行在车辆内外与装置、传感器等的通信的通信I/F。图18示出了微计算机7610、通用通信I/F7620、专用通信I/F 7630、定位单元7640、信标接收单元7650、内部仪器I/F 7660、语音图像输出单元7670、车载网络I/F 7680和存储单元7690作为集成控制单元7600的功能配置。类似地，任何其他控制单元包括微计算机、通信I/F、存储单元等。

驱动系统控制单元7100根据各种计算机程序来控制与车辆的驱动系统有关的装置操作。例如，驱动系统控制单元7100用作例如如下的控制装置：驱动力生成装置例如内燃发动机或驱动马达，其被配置成生成车辆的驱动力；驱动力传递机构，其被配置成将驱动力传送至轮；转向机构，其被配置成调节车辆的角度；以及制动装置，其被配置成生成车辆制动力。驱动系统控制单元7100可以具有例如防抱死制动系统(ABS)或电子稳定控制(ESC)的控制装置的功能。

驱动系统控制单元7100与车辆状态检测单元7110连接。车辆状态检测单元7110包括例如：陀螺仪传感器，其被配置成检测车身的轴向旋转运动的角速度；加速度传感器，其被配置成检测车辆的加速度；以及传感器中至少之一，其被配置成检测例如加速踏板的操作量、制动踏板的操作量、方向盘的转向角、发动机转速和轮的转速。驱动系统控制单元7100通过使用从车辆状态检测单元7110输入的信号执行运算处理，并且控制内燃发动机、驱动马达、电动助力转向装置、制动装置等。

车身系统控制单元7200根据各种计算机程序来控制安装在车身上的各种装置的操作。例如，车身系统控制单元7200用作无钥匙进入系统、智能钥匙系统、电动窗装置以及诸如前照灯、后灯、制动灯、指示器和雾灯的各种灯的控制装置。在这种情况下，车身系统控制单元7200可以接收由便携式装置发射的无线电波作为替代键或各种开关信号。车身系统控制单元7200接收无线电波或信号的输入，并且控制车辆的门锁装置、电动窗装置、灯等。

电池控制单元7300根据各种计算机程序来控制二次电池7310作为驱动马达的电源。例如，电池控制单元7300从包括二次电池7310的电池装置接收诸如电池温度、电池输出电压或电池剩余电量的信息。电池控制单元7300通过使用这些信号来执行算术处理，并且控制二次电池7310或包括在电池装置中的冷却装置等的温度的调节。

外部信息检测单元7400检测关于安装有车辆控制系统7000的车辆的外部的信息。例如，外部信息检测单元7400与图像捕获部7410或外部信息检测部7420中的至少一个连接。图像捕获部7410包括飞行时间(ToF)相机、立体声相机、单镜头相机、红外相机或任何其他相机中的至少一个。外部信息检测部7420包括例如用于检测当前天气或气候的环境传感器或者用于检测安装有车辆控制系统7000的车辆周围的任何其他车辆、障碍物、行人等的周围信息检测传感器中的至少一个。

例如，环境传感器可以是被配置成检测雨水的雨滴传感器、被配置成检测雾的雾传感器、被配置成检测阳光程度的阳光传感器、或被配置成检测降雪的雪花传感器中的至少一个。周围信息检测传感器可以是超声波传感器、雷达装置或光检测和测距、激光成像检测和测距(LIDAR)装置中的至少一个。这些图像捕获部7410和外部信息检测部7420可以设置为独立的传感器或装置，或者可以设置为集成有多个传感器或装置的装置。

在此，图19示出了图像捕获部7410和外部信息检测部7420的示例性安装位置。图像捕获单元7910、7912、7914、7916和7918被设置在例如车辆7900的前鼻、侧视镜、后保险杠、后门以及内部的挡风玻璃的上部的位置中的至少一个处。设置在前鼻的图像捕获单元7910和设置在车辆内部的挡风玻璃的上部的图像捕获单元7918主要获取车辆7900前侧的图像。设置在侧视镜上的图像捕获单元7912和7914主要获取车辆7900侧面的图像。设置至后保险杠或后门的图像捕获单元7916主要获取车辆7900后侧上的图像。设置在车辆内部的挡风玻璃的上部的图像捕获单元7918主要用于检测例如前方车辆、行人、障碍物、交通信号灯、交通标志和车道。

注意，图19示出了图像捕获单元7910、7912、7914和7916的示例性图像捕获范围。图像捕获范围a指示设置在前鼻的图像捕获单元7910的图像捕获范围，图像捕获范围b和c指示设置在侧视镜的图像捕获单元7912和7914的图像捕获范围，以及图像捕获范围d指示设置在后保险杠或后门的图像捕获单元7916的图像捕获范围。例如，由图像捕获单元7910、7912、7914和7916捕获的图像数据被放置在上方以在从上方观察时获得车辆7900的俯瞰图像。

设置在车辆7900的挡风玻璃的前部、后部、侧部、角部和内部上部的外部信息检测部7920、7922、7924、7926、7928和7930每个可以是例如超声波传感器或雷达装置。设置在车辆7900的挡风玻璃的前鼻、后保险杠、后门和内部上部的外部信息检测部7920、7926和7930每个可以是例如LIDAR装置。这些外部信息检测部7920至7930主要用于检测前方车辆、行人、障碍物等。

描述继续返回到图18。外部信息检测单元7400使图像捕获部7410捕获外部图像并且接收所捕获的图像数据。另外，外部信息检测单元7400从与其连接的外部信息检测部7420接收检测信息。在外部信息检测部7420是超声波传感器、雷达装置或LIDAR装置的情况下，外部信息检测单元7400发射例如超声波或电磁波，并且接收所接收的反射波的信息。外部信息检测单元7400可以基于所接收的信息来执行人、车、障碍物、指示牌、路面上的标志等的对象检测处理或距离检测处理。外部信息检测单元7400可以基于所接收的信息执行识别降雨、雾、路面状况等的环境识别处理。外部信息检测单元7400可以基于所接收的信息来计算到外部对象的距离。

另外，外部信息检测单元7400可以基于所接收的图像数据来执行识别人、车、障碍物、指示牌、路面上的标志等的图像识别处理或距离检测处理。外部信息检测单元7400可以对接收的图像数据执行诸如失真校正或定位的处理，并且可以将图像数据与由另外的图像捕获部7410捕获的图像数据合成，以生成俯瞰图像或全景图像。外部信息检测单元7400可以通过使用由另外的图像捕获部7410捕获的图像数据来执行视点转换处理。

内部信息检测单元7500检测内部信息。内部信息检测单元7500与例如被配置成检测驾驶员的状态的驾驶员状态检测单元7510连接。驾驶员状态检测单元7510可以包括例如被配置成捕获驾驶员的图像的相机、被配置成检测驾驶员的生物体信息的生物体传感器、或者被配置成收集内部语音的麦克风。生物体传感器被设置至例如座椅表面、方向盘等，并且检测坐在座椅上的乘客或握住方向盘的驾驶员的生物体信息。基于从驾驶员状态检测单元7510输入的检测信息，内部信息检测单元7500可以计算驾驶员的疲劳程度或集中度，或者可以确定驾驶员是否处于睡眠中。内部信息检测单元7500可以对收集的语音信号执行诸如噪声消除处理的处理。

集成控制单元7600根据各种计算机程序来控制车辆控制系统7000中的整个操作。集成控制单元7600与输入单元7800连接。输入单元7800由装置例如触摸板、按钮、麦克风、开关或控制杆来实现，通过该装置可以由乘客执行输入操作。集成控制单元7600可以接收通过由麦克风输入的语音的语音识别而获取的数据。输入单元7800可以是例如使用红外线或其他无线电波的遥控装置，或者能够根据车辆控制系统7000操作的外部连接仪器例如蜂窝电话或个人数字助理(PDA)。输入单元7800可以是例如相机，其使得乘客能够通过手势输入信息。可替选地，可以输入通过检测乘客穿戴的可穿戴装置的运动而获得的数据。此外，输入单元7800可以包括例如输入控制电路等，其被配置成基于乘客等通过上述输入单元7800输入的信息来生成输入信号，并且将输入信号输出至集成控制单元7600。乘客等操作输入单元7800以输入各种数据或向车辆控制系统7000给出用于处理操作的指令。

存储单元7690可以包括：只读存储器(ROM)，其被配置成存储由微计算机执行的各种计算机程序；以及随机存取存储器(RAM)，其被配置成存储例如各种参数、计算结果或传感器值。另外，存储单元7690可以通过例如磁存储装置诸如硬盘驱动器(HDD)、半导体存储装置、光存储装置或磁光存储装置来实现。

通用通信I/F 7620是被配置成调解与外部环境7750中存在的各种仪器的通信的通用通信I/F。通用通信I/F 7620可以实现蜂窝通信协议诸如全球移动通信系统(GSM)、WiMAX、长期演进(LTE)或高级LTE(LTE-A)、或者无线LAN(也称为Wi-Fi(注册商标))、蓝牙(注册商标)等的任何其他无线通信协议。例如，通用通信I/F 7620可以通过基站或接入点与外部网络(例如，因特网、云网络或商业运营商唯一的网络)上的仪器(例如，应用服务器或控制服务器)连接。另外，通用通信I/F 7620可以通过使用例如点对点(P2P)技术与车辆附近的终端(例如，驾驶员、行人或商店的终端或者机器类型通信(MTC)终端)连接。

专用通信I/F 7630是支持被配制用于车辆的通信协议的通信I/F。专用通信I/F7630可以实现标准协议例如作为下层的IEEE802.11p和更高层的IEEE1609的组合的车辆环境中的无线接入(WAVE)、专用短程通信(DSRC)或蜂窝通信协议。专用通信I/F 7630通常执行作为包括车辆对车辆通信、车辆对基础设施通信、车辆对家庭通信和车辆对行人通信中的一个或更多个的概念的V2X通信。

定位单元7640接收例如来自GNSS卫星的全球导航卫星系统(GNSS)信号(例如，来自GPS卫星的全球定位系统(GPS)信号)，执行定位，并且生成包括纬度、经度和车辆的高度的位置信息。注意，定位单元7640可以通过与无线接入点的信号交换来指定当前位置，或者可以从诸如蜂窝电话、PHS或具有定位功能的智能电话的终端获取位置信息。

信标接收单元7650接收例如从安装在道路上的无线站等发出的无线电波或电磁波，并且获取诸如当前位置、交通堵塞、道路封闭或所需行驶时间的信息。注意，信标接收单元7650的功能可以包括在上述专用通信I/F 7630中。

内部仪器I/F 7660是通信接口，其被配置成调解微计算机7610与车辆中的各种内部仪器7760之间的连接。内部仪器I/F 7660可以通过使用诸如无线LAN、蓝牙(注册商标)、近场通信(NFC)或无线USB(WUSB)的无线通信协议来建立无线连接。此外，内部仪器I/F7660可以通过连接端子(未示出)(和根据需要的电缆)建立有线连接，例如通用串行总线(USB)、高清晰度多媒体接口(HDMI)或移动高清链路(MHL)。内部仪器7760可以包括例如由乘客拥有的移动装置或可穿戴仪器或者被输送到车辆中或附接到车辆的信息仪器中的至少一个。另外，内部仪器7760可以包括导航装置，该导航装置被配置成搜索到可选目的地的路径。内部仪器I/F 7660与内部仪器7760交换控制信号或数据信号。

车载网络I/F 7680是被配置成调解微计算机7610与通信网络7010之间的通信的接口。车载网络I/F 7680根据通信网络7010支持的预定协议来传送信号等。

集成控制单元7600的微计算机7610基于通过通用通信I/F 7620、专用通信I/F7630、定位单元7640、信标接收单元7650、内部仪器I/F 7660或车载网络I/F 7680中的至少一个获取的信息，根据各种计算机程序来控制车辆控制系统7000。例如，微计算机7610可以基于所获取的内部和外部信息来计算驱动力生成装置的控制目标值、转向机构或制动装置，并且可以向驱动系统控制单元7100输出控制命令。例如，微计算机7610可以执行协同控制以实现高级驾驶员辅助系统(ADAS)的功能，该高级驾驶员辅助系统包括例如车辆的碰撞避免或冲击减少、基于车辆间距离的跟随行驶、车辆速度维持行驶、车辆碰撞警告或车道偏差警告。另外，微计算机7610可以基于车辆周围获得的信息通过控制驱动力生成装置、转向机构、制动装置等来执行协作控制以实现例如车辆独立于驾驶员的操作而自动行驶的自动驾驶。

微计算机7610可以基于通过通用通信I/F 7620、专用通信I/F 7630、定位单元7640、信标接收单元7650、内部仪器I/F 7660或车载网络I/F 7680中的至少一个获取的信息来生成关于车辆与诸如结构或人的周围对象之间的三维距离的信息，并且可以产生包括关于车辆的当前位置的信息的本地地图信息。此外，微计算机7610可以基于所获取的信息来预测诸如车辆碰撞、行人接近等危险或者进入封闭道路，并且可以生成警告信号。警告信号可以是例如用于生成警告声或打开警告灯的信号。

语音图像输出单元7670将语音输出信号或图像输出信号中的至少一个发送到能够在视觉上或听觉上向车辆中或车辆外部的乘客通知信息的输出装置。在图18中所示的示例中，输出装置是音频扬声器7710、显示单元7720和仪表板7730。显示单元7720可以包括例如车载显示器或抬头显示器中的至少一个。显示单元7720可以具有增强现实(AR)显示功能。输出装置可以代替这些装置而是包括可穿戴装置的另外的装置，例如乘客穿戴的耳机或眼镜显示器、投射仪、灯等。在输出装置是显示装置的情况下，显示装置以文本、图像、表格、图形等各种格式，可视地显示通过由微计算机7610执行的各种类型的处理而获得的结果或从另外的控制单元接收的信息。另外，在输出装置是声音输出装置的情况下，声音输出装置将包括例如回放的语音数据或声学数据的音频信号转换成模拟信号，并且可听地输出该信号。

注意，在图18所示的示例中，可以将通过通信网络7010彼此连接的至少两个控制单元集成为一个控制单元。可替选地，单独的控制单元可以包括多个控制单元。此外，车辆控制系统7000可以包括另外的控制单元(未示出)。另外，以上描述中的任何控制单元的部分或全部功能可以由另外的控制单元来实现。换句话说，只要通过通信网络7010发送和接收信息，就可以在任何控制单元上执行预定的算术处理。类似地，与任何控制单元连接的传感器或装置可以与另外的控制单元连接，并且多个控制单元可以通过通信网络7010相互发送和接收检测信息。

注意，用于实现根据参照图1至图16描述的本实施方式的图像处理系统10的每个功能的计算机程序可以安装在任何控制单元等上。此外，可以提供存储这种计算机程序的计算机可读记录介质。记录介质例如是磁盘、光盘、磁光盘、闪存等。此外，上述计算机程序可以例如通过网络分发而不使用记录介质。

上述车辆控制系统7000中的参照图1至图16描述的根据本实施方式的图像处理系统10可以应用于作为图18所示的示例性应用的上述车辆控制系统7000。例如，图像处理系统10的图像捕获装置11对应于图像捕获部7410，编码装置12和解码装置13整体地对应于集成控制单元7600的微计算机7610和存储单元7690，并且显示装置14对应于显示单元7720。

此外，参照图1至图16描述的图像处理系统10的至少一些组成元件可以在用于图18中所示的集成控制单元7600的模块(例如，包括一个管芯的集成电路模块)上实现。可选地，参照图1至图16描述的图像处理系统10可以通过图18中所示的车辆控制系统7000的多个控制单元来实现。

在本说明书中，系统意味着一组多个组成元件(例如装置和模块(部件))，而无论所有组成元件是否在同一壳体中都不是问题。因此，容纳在分离的壳体中且通过网络彼此连接的多个装置以及多个模块容纳在一个壳体中的一个装置都是系统。

注意，本文描述的效果仅仅是示例性的。本技术不限于这些效果，并且可以实现任何其他效果。

此外，本公开内容的实施方式不限于上述实施方式，并且在不脱离本公开内容的主旨的情况下可以进行各种修改。

例如，本公开内容可以通过一个功能由多个装置通过网络分布式地和协作地处理的云计算来实现。

此外，上述流程图中的每个步骤可以由一个装置执行，或者可以由多个装置分布式地执行。

另外，在一个步骤中包括多个处理的情况下，一个步骤中包括的多个处理可以由一个装置执行，或者可以由多个装置分布式地执行。

注意，可以如下所述配置本公开内容。

(1)一种图像处理设备，包括深度图像生成单元，所述深度图像生成单元被配置成为3D模型中包括的每个对象生成多个视点中的每个视点的深度图像。

(2)根据(1)所述的图像处理设备，还包括对象范围信息生成单元，所述对象范围信息生成单元被配置成生成对象范围信息，所述对象范围信息指示所述深度图像上的所述对象的范围以及与所述深度图像对应的视点和所述对象之间的深度方向上的距离的范围。

(3)根据(1)所述的图像处理设备，还包括对象范围信息生成单元，所述对象范围信息生成单元被配置成生成指示3D坐标系中的所述对象的范围的对象范围信息。

(4)根据(1)至(3)中任一项所述的图像处理设备，还包括视点确定单元，所述视点确定单元被配置成基于时间上顺续的3D模型来确定所述多个视点，使得在每个视点的所述深度图像上的预定对象的位置的时间变化减小。

(5)根据(1)至(3)中任一项所述的图像处理设备，还包括视点确定单元，所述视点确定单元被配置成基于时间上顺序的对象为每个对象确定所述多个视点，使得每个视点的所述深度图像上的所述对象的位置的时间变化减小。

(6)一种图像处理方法，包括由图像处理设备为3D模型中包括的每个对象生成多个视点中的每个视点的深度图像的深度图像生成步骤。

(7)一种图像处理设备，包括对象生成单元，所述对象生成单元被配置成基于用于3D模型中包括的对象的多个视点中的每个视点的深度图像来生成所述对象。

(8)根据(7)所述的图像处理设备，其中，所述对象生成单元基于对象范围信息来生成对象，所述对象范围信息指示所述深度图像上的对象的范围以及与所述深度图像对应的视点和所述对象之间的深度方向上的距离的范围。

(9)根据(7)所述的图像处理设备，其中，所述对象生成单元基于指示在3D坐标系中的所述对象的范围的对象范围信息来生成所述对象。

(10)根据(7)至(9)中任一项所述的图像处理设备，其中，基于时间上顺序的3D模型确定所述多个视点，使得每个视点的所述深度图像上的所述3D模型中包括的预定对象的位置的时间变化减小。

(11)根据(7)至(10)中任一项所述的图像处理设备，其中，基于时间上顺序的对象确定所述多个视点，使得在每个视点的深度图像上的所述对象的位置的时间变化减小。

(12)根据(7)至(11)中任一项所述的图像处理设备，其中，所述对象是所述3D模型中包括的所有对象之中的预定对象。

(13)一种图像处理方法，包括由图像处理设备基于3D模型中包括的对象的多个视点中的每个视点的深度图像生成所述对象的对象生成步骤。

附图标记列表

12 编码装置

13 解码装置

33 重构单位

52 视点确定单元

54 深度图像生成单元

55 对象范围信息生成单元

90 3D模型

91至93 对象

101至103 深度图像

170 视点确定单元

172 对象范围信息生成单元

Claims (8)

1.一种图像处理设备，包括：

深度图像生成单元，所述深度图像生成单元被配置成为3D模型中包括的多个对象中的每个对象生成多个视点中的每个视点的深度图像；以及

对象范围信息生成单元，所述对象范围信息生成单元被配置成生成针对每个对象的每个视点的深度图像的对象范围信息，所述对象范围信息指示所述深度图像上的所述对象的范围以及与所述深度图像对应的视点和所述对象之间的深度方向上的距离的范围；

其中，每个深度图像的所述对象范围信息包括针对相应视点与相应对象相关联的两个维度中的每个维度中的最小值和最大值。

2.根据权利要求1所述的图像处理设备，还包括视点确定单元，所述视点确定单元被配置成基于时间上顺序的3D模型来确定所述多个视点，使得每个视点的所述深度图像上的预定对象的位置的时间变化减小。

3.根据权利要求1所述的图像处理设备，还包括视点确定单元，所述视点确定单元被配置成基于时间上顺序的对象为每个对象确定所述多个视点，使得每个视点的所述深度图像上的所述对象的位置的时间变化减小。

4.一种图像处理方法，包括：

由图像处理设备为3D模型中包括的每个对象生成多个视点中的每个视点的深度图像的深度图像生成步骤；以及

由所述图像处理设备成生成针对每个对象的每个视点的深度图像的对象范围信息，所述对象范围信息指示所述深度图像上的所述对象的范围以及与所述深度图像对应的视点和所述对象之间的深度方向上的距离的范围；

其中，每个深度图像的所述对象范围信息包括针对相应视点与相应对象相关联的两个维度中的每个维度中的最小值和最大值。

5.一种图像处理设备，包括对象生成单元，所述对象生成单元被配置成基于用于3D模型中包括的多个对象中的一个对象的多个视点中的每个视点的深度图像来生成所述对象；

其中，所述对象生成单元基于针对所述对象的每个视点的深度图像的对象范围信息来生成所述对象，所述对象范围信息指示所述深度图像上的对象的范围以及与所述深度图像对应的视点和所述对象之间的深度方向上的距离的范围；并且

其中，每个深度图像的所述对象范围信息包括针对相应视点与所述对象相关联的两个维度中的每个维度中的最小值和最大值。

6.根据权利要求5所述的图像处理设备，其中，基于时间上顺序的3D模型确定所述多个视点，使得每个视点的所述深度图像上的所述3D模型中包括的预定对象的位置的时间变化减小。

7.根据权利要求5所述的图像处理设备，其中，基于时间上顺序的对象确定所述多个视点，使得每个视点的深度图像上的所述对象的位置的时间变化减小。

8.一种图像处理方法，包括：

由图像处理设备基于用于3D模型中包括多个对象中的一个对象的多个视点中的每个视点的深度图像生成所述对象的对象生成步骤；

其中，所述图像处理设备基于针对所述对象的每个视点的深度图像的对象范围信息来生成所述对象，所述对象范围信息指示所述深度图像上的对象的范围以及与所述深度图像对应的视点和所述对象之间的深度方向上的距离的范围；并且

其中，每个深度图像的所述对象范围信息包括针对相应视点与所述对象相关联的两个维度中的每个维度中的最小值和最大值。