CN109643468A - 图像处理装置和图像处理方法 - Google Patents

Abstract

本公开涉及一种用于实现对实景内容中的各个物体的显示模式的轻松改变的图像处理装置和图像处理方法。所述图像处理装置包括图像生成部，所述图像生成部基于区段信息改变显示图像内的各个物体的显示模式，所述区段信息指示各个所述物体所在的区段的位置，所述区段的所述位置是在多个层图像中的各个层图像中的位置，所述多个层图像是基于多个拍摄图像生成的图像并且是根据所述图像与预定视点的距离被分类为多个层的图像。例如，本公开适用于显示装置等。

Description

图像处理装置和图像处理方法

技术领域

本公开涉及一种图像处理装置和图像处理方法，更具体地，涉及一种适合于改变实景内容中的物体的显示模式的图像处理装置和图像处理方法。

背景技术

处理计算机图形(CG)内容的图像处理装置(诸如，第一人称射击(FPS)游戏)可以轻松地设置、移动、旋转和执行视点的其它处理(例如，参见PTL1)。这种类型的图像处理装置还可以轻松改变图像内的各个物体的显示模式，诸如，显示或不显示。

[引文列表]

[专利文献]

[PTL 1]

日本专利特开第2015-164450号

发明内容

[技术问题]

同时，不仅CG内容需要轻松改变各个物体的显示模式，而且基于由相机等拍摄的拍摄图像的实景内容也需要如此。

考虑到这些情况而开发的本公开配置为实现对实景内容中的各个物体的显示模式的轻松改变。

[问题的解决方案]

根据本公开的一个方面的图像处理装置是包括图像生成部的图像处理装置，该图像生成部配置为基于区段信息改变显示图像内的各个物体的显示模式，区段信息指示各个物体所在的区段的位置，区段的位置是在多个层图像中的各个层图像中的位置，多个层图像是基于多个拍摄图像生成的图像并且是根据图像与预定视点的距离被分类为多个层的图像。

根据本公开的一个方面的图像处理方法对应于根据本公开的一个方面的图像处理装置。

根据本公开的一个方面，基于区段信息改变显示图像内的各个物体的显示模式，区段信息指示各个物体所在的区段的位置，区段的位置是在多个层图像中的各个层图像中的位置，多个层图像是基于多个拍摄图像生成的图像并且是根据图像与预定视点的距离被分类为多个层的图像。

要注意的是，根据本公开的一个方面的图像处理装置可以在由计算机执行的程序下实施。

另外，可以通过经由传输介质传输程序或者将程序记录在记录介质中来提供用于实施本公开的一个方面的图像处理装置的由计算机执行的程序。

[发明的有利效果]

根据本公开的方面，可以生成显示图像。根据本公开的方面，可以轻松改变实景内容中的各个物体的显示模式。

要注意的是，要产生的效果并不限于本文描述的效果，而可以是本公开所描述的任何效果。

附图说明

[图1]图1是描述了作为已经应用本公开的图像处理装置的根据第一实施例的生成装置的配置示例的框图。

[图2]图2是描绘了成像装置的布置示例的示意图。

[图3]图3是解释了通过透视投影各个多边形的前表面生成的纹理图像和对应于纹理图像的深度图像的示意图。

[图4]图4是解释了通过透视投影各个多边形的前表面生成的纹理图像和对应于纹理图像的深度图像的示意图。

[图5]图5是解释了通过透视投影各个多边形的前表面生成的纹理图像和对应于纹理图像的深度图像的示意图。

[图6]图6是解释了通过透视投影球体的后表面生成的纹理图像和对应于纹理图像的深度图像的示意图。

[图7]图7是解释了通过透视投影球体的后表面生成的纹理图像和对应于纹理图像的深度图像的示意图。

[图8]图8是解释了通过透视投影各个多边形的后表面生成的纹理图像和对应于纹理图像的深度图像的示意图。

[图9]图9是解释了通过透视投影各个多边形的后表面生成的纹理图像和对应于纹理图像的深度图像的示意图。

[图10]图10是解释了通过透视投影各个多边形的后表面生成的纹理图像和对应于纹理图像的深度图像的示意图。

[图11]图11是解释了由图1中的生成装置执行的生成过程的流程图。

[图12]图12是描述了作为已经应用本公开的图像处理装置的根据第一实施例的显示装置的配置示例的框图。

[图13]图13是解释了第一重构方法的示意图。

[图14]图14是解释了第二重构方法的示意图。

[图15]图15是解释了由图12中的显示装置执行的显示过程的流程图。

[图16]图16是描述了作为已经应用本公开的图像处理装置的根据第二实施例的生成装置的配置示例的框图。

[图17]图17是解释了由图16中的生成装置执行的生成过程的流程图。

[图18]图18是解释了层图像生成过程的细节的流程图。

[图19]图19是描绘了相机和相应物体的布置示例的示意图。

[图20]图20是描绘了相机和相应物体的布置示例的示意图。

[图21]图21是描绘了拍摄图像的示例的示意图。

[图22]图22是具有三层结构的纹理图像的示例。

[图23]图23是解释了层图像生成过程的具体示例的示意图。

[图24]图24是解释了层图像生成过程的具体示例的示意图。

[图25]图25是解释了层图像生成过程的具体示例的示意图。

[图26]图26是描述了作为已经应用本公开的图像处理装置的根据第二实施例的显示装置的配置示例的框图。

[图27]图27是解释了由图26中的显示装置执行的显示过程的流程图。

[图28]图28是解释了层图像生成过程的修改示例的示意图。

[图29]图29是解释了层图像生成过程的修改示例的示意图。

[图30]图30是解释了层图像生成过程的修改示例的示意图。

[图31]图31是描述了作为已经应用本公开的图像处理装置的根据第三实施例的显示装置的配置示例的框图。

[图32]图32是解释了由图31中的显示装置执行的显示过程的流程图。

[图33]图33是解释了区段信息生成过程的细节的流程图。

[图34]图34是解释了区段信息生成过程的具体示例的示意图。

[图35]图35是描绘了分段表的具体示例的示意图。

[图36]图36是描绘了绘图目标像素选择过程的细节的流程图。

[图37]图37是描绘了不显示预定物体的示例的示意图。

[图38]图38是描绘了不显示预定物体的示例的示意图。

[图39]图39是描绘了不显示预定物体的示例的示意图。

[图40]图40是描绘了纹理图像的另一示例的示意图。

[图41]图41是解释了用于计算物体的移动速度的方法的示意图。

[图42]图42是解释了用于计算物体的移动速度的方法的示意图。

[图43]图43是描绘了计算机的硬件的配置示例的框图。

[图44]图44是描绘了车辆控制系统的示意性配置的示例的框图。

[图45]图45是帮助解释车外信息检测部和成像部的安装位置的示例的示意图。

具体实施方式

在下文中将描述用于执行本公开的方式(在下文中称为实施例)。要注意的是，将按照以下顺序给出描述。

1.第一实施例：生成装置和显示装置(图1至15)

2.第二实施例：生成装置和显示装置(图16至30)

3.第三实施例：显示装置(图31至39)

4.修改示例(图40至42)

5.应用示例(图43至45)

<第一实施例>

(生成装置的配置示例)

图1是描述了作为已经应用本公开的图像处理装置的根据第一实施例的生成装置的配置示例的框图。

图1中的生成装置12通过使用由成像装置11-1至11-N(N：2或更大)获取的拍摄图像和深度图像来生成拍摄图像内的主要成像物体的纹理图像和深度图像以及全向图像的纹理图像和深度图像。

更具体地，成像装置11-1至11-N设置在主要成像物体周围，使得成像装置11-1至11-N的各个成像范围包含主要成像物体的至少一部。成像装置11-1至11-N分别包括图像拍摄相机21-1至21-N以及深度图像相机22-1至22-N。各个图像拍摄相机21-1至21-N拍摄成像物体的图像以获取以帧为单位的拍摄图像，并且将拍摄图像提供给生成装置12。各个深度图像相机22-1至22-N获取成像物体在以帧为单位的拍摄图像中的各个像素中的深度方向上的位置以生成深度图像，该深度图像具有作为指示位置的信息的像素值，并且将所生成的深度图像提供给生成装置12。

要注意的是，在不需要特别区分成像装置11-1至11-N的情况下，成像装置11-1至11-N统称为成像装置11。在不需要特别区分图像拍摄相机21-1至21-N的情况下，图像拍摄相机21-1至21-N统称为图像拍摄相机21。在不需要特别区分深度图像相机22-1至22-N的情况下，深度图像相机22-1至22-N统称为深度图像相机22。

生成装置12包括区域提取部31、位置信息生成部32、颜色信息生成部33、多边形生成部34、绘图部35、全向图像生成部36、分辨率降低部37、编码器38、存储部39和传输部40。

生成装置12的区域提取部31从N个成像装置11提供的N个拍摄图像和深度图像中提取主要成像物体的区域，并且将所提取的区域提供给位置信息生成部32。区域提取部31还从N个拍摄图像和深度图像中提取除了主要成像物体的区域之外的区域作为背景区域，并且将所提取的背景区域提供给全向图像生成部36。

位置信息生成部32通过使用从区域提取部31提供的主要成像物体的区域中的N个深度图像来生成与对应于主要成像物体的一个或多个多边形相关联的位置信息。与多边形相关联的位置信息指示多边形的相应顶点在3D模型坐标系中的三维坐标，该3D模型坐标系是具有位于主要成像物体的中心处的原点的三维坐标系。位置信息生成部32将与相应多边形相关联的位置信息提供给颜色信息生成部33和多边形生成部34。位置信息生成部32进一步将主要成像物体的区域中的N个拍摄图像提供给颜色信息生成部33。

颜色信息生成部33通过使用与相应多边形相关联的位置信息和主要成像物体的区域中的N个拍摄图像(这两个信息都是从位置信息生成部32提供的)来生成与相应多边形的前表面和后表面相关联的颜色信息，诸如，RGB值。更具体地，颜色信息生成部33通过使用对应于多边形的拍摄图像的像素值来生成与相应多边形的前表面相关联的颜色信息。颜色信息生成部33还生成与相应多边形的前表面相关联的颜色信息作为与对应多边形的后表面相关联的颜色信息。颜色信息生成部33将与相应多边形的前表面和后表面相关联的颜色信息提供给多边形生成部34。

要注意的是，通过对应于多边形的相应顶点的三维坐标描述的颜色信息，将与多边形的前表面相关联的颜色信息表示为3D模型坐标系中的围绕轴顺时方向描述的坐标，该轴对应于前表面的法向量。与多边形的后表面相关联的颜色信息的表示类似于与前表面相关联的颜色信息。

多边形生成部34基于与相应多边形相关联并从位置信息生成部32提供的位置信息来生成相应多边形，并且基于与相应多边形的前表面和后表面相关联并从颜色信息生成部33提供的颜色信息来将纹理粘附至相应多边形的前表面和后表面。多边形生成部34将已经将纹理粘附至其前表面和后表面的相应多边形提供给绘图部35。

绘图部35(图像生成部)通过针对两个视点中的各个视点将相应多边形的后表面透视投影到透视投影表面上来生成两个视点的纹理图像，这两个视点是预先确定的并且面向在主要成像物体中的一个或多个多边形的各个多边形的中心处的3D模型坐标系的原点。更具体地，针对两个视点中的各个视点，绘图部35通过将相应多边形的后表面透视投影到透视投影表面上来生成两个视点的纹理图像，在该透视投影表面的中心处，在视线方向上从各个视点延伸到原点的直线作为法线穿过。在本说明书中，“面向位置”不仅包括面向位置，还包括用于产生本公开的技术效果的范围内的面向位置的外围。同样地，“法线”不仅包括法线，还包括分别与表面成近似直角的线。

要注意的是，纹理图像的格式并不限于特定格式。例如，可以采用YCbCr420格式。绘图部35基于多边形针对两个视点的各个纹理图像生成深度图像。绘图部35将两个视点的纹理图像和深度图像提供给编码器38。

全向图像生成部36通过将从区域提取部31提供的背景区域中的N个拍摄图像透视投影到正八面体上来生成全向图像(在水平方向上通过360度环绕并且在垂直方向上通过180度环绕)的纹理图像，该正八面体的中心位于3D模型坐标系的原点处。要注意的是，全向图像并不限于在水平方向上通过360度环绕并且在垂直方向上通过180度环绕的球体的整个空间的图像，而可以是部空间的图像，只要可以产生本公开的技术效果。与拍摄图像类似，全向图像生成部36通过将从区域提取部31提供的背景区域中的N个深度图像透视投影到正八面体上来生成对应于全向图像的深度图像。全向图像生成部36将全向图像的纹理图像和深度图像提供给分辨率降低部37。

分辨率降低部37降低从全向图像生成部36提供的全向图像的纹理图像和深度图像的分辨率，并且将由此产生的纹理图像和深度图像提供给编码器38。

编码器38对从绘图部35提供的两个视点的纹理图像和深度图像进行编码，并且对从分辨率降低部37提供的全向图像的纹理图像和深度图像进行编码。例如，可以采用高级视频编码(AVC)系统、高效率视频编码(HEVC)系统或者MVD系统作为用于这种编码的编码系统。假设在本文中采用AVC系统。

因此，编码器38通过编码生成相应视点的纹理图像的编码流(在下文中称为视点纹理流)和深度图像的编码流(在下文中称为视点深度流)。编码器38进一步通过编码生成具有较低分辨率的全向图像的纹理图像的编码流(在下文中称为全向纹理流)和深度图像的编码流(在下文中称为全向深度流)。编码器38将两个视点的视点纹理流和视点深度流以及全向纹理流和全向深度流提供给存储部39。

存储部39存储两个视点的视点纹理流和视点深度流以及全向纹理流和全向深度流，各个流都是从编码器38提供的。

传输部40读取两个视点的视点纹理流和视点深度流以及全向纹理流和全向深度流，各个流都存储在存储部39中，并且传输所读取的流。

如上所述，生成装置12将表示主要成像物体的三维结构的多边形和颜色信息转换为两个视点的纹理图像和深度图像。因此，生成装置12可以通过使用普通图像编码系统来对两个视点的纹理图像和深度图像进行编码以减少数据量。因此，减少表示主要成像物体的三维结构的数据传输带是可实现的。

要注意的是，图1所描绘的生成多边形和颜色信息的生成装置12可以生成其它信息，诸如，点云，只要该信息表示在CG技术中使用的三维结构。

而且，根据图1所描绘的示例，各个深度图像相机22获取分别具有与对应拍摄图像中的像素数量相同的像素数量的深度图像。然而，在各个深度图像相机22获取分别具有比对应拍摄图像中的像素数量小的像素数量的深度图像的情况下，在区域提取部31与位置信息生成部32之间提供深度图像插值部，该深度图像插值部插入深度图像的像素值。在这种情况下，深度图像插值部插入各个深度图像的像素值以使深度图像的像素数量与对应拍摄图像中的像素数量相等。

此外，根据图1所描绘的示例，各个成像装置11获取深度图像。然而，可以通过由成像装置11获取的拍摄图像生成深度图像，该成像装置11与对应于深度图像的成像装置11不同。

(成像装置的布置示例)

图2是描绘了图1中的成像装置11的布置示例的示意图。

在图2中的示例中，N设置为9。

如图2所描绘的，九个成像装置11-1至11-9设置在主要成像物体61周围，处于围绕主要成像物体61的位置中。

(效果的描述)

图3至5是分别解释了通过将相应多边形的前表面透视投影到透视投影表面上而生成的纹理图像以及深度图像的示意图，该深度图像对应于面向3D模型坐标系的原点的两个视点中的各个视点的纹理图像。

根据图3至5所描绘的示例，主要成像物体的多边形构成球体81。在这种情况下，在纹理图像中绘制粘附至区域81A(其位于球体81的前表面并且首先穿过相应的投影方向82)的纹理，该纹理图像是通过将球体81的前表面透视投影到图3的A所描绘的两个视点中的一个视点O1的视线方向V1上的透视投影表面上而生成的。投影方向是从视点延伸出去并且与视线方向成一定角度(使得角度的绝对值落在视角(图3的示例中的θ)的一半的范围内)的方向。另外，对应于该纹理图像的深度图像是表示区域81A在视点O1的深度方向(视线方向V1)上的位置的图像。

此外，在纹理图像中绘制粘附至区域81B(其位于球体81的前表面并且首先穿过相应的投影方向83)的纹理，该纹理图像是通过将球体81的前表面透视投影到图3的B所描绘的两个视点中的另一视点O2的视线方向V2上的透视投影表面上而生成的。另外，对应于该纹理图像的深度图像是表示区域81B在视点O2的深度方向(视线方向V2)上的位置的图像。

因此，如图3的C所描绘的，可以通过使用视点O1的纹理图像和深度图像以及视点O2的纹理图像和深度图像来表示相对于球体81的中心彼此相对的两个区域81A和81B的三维结构。然而，在球体的前表面上存在除了区域81A和81B之外的区域。换言之，球体81的前表面具有难以通过使用视点O1的纹理图像和深度图像以及视点O2的纹理图像和深度图像来表示其三维结构的区域。

例如，在将世界地图粘附至球体81的前表面和后表面作为纹理(其中，视点O1位于非洲海岸附近的大西洋上空)的情况下，如图4的A的左部所描绘的，在视点O1的纹理图像101中绘制粘附至区域81A的前表面的非洲大陆和南美大陆的一部作为纹理。

而且，在这种情况下，视点O2位于太平洋上空。如图4的B的左部所描绘的，在视点O2的纹理图像102中绘制粘附至区域81B的前表面的澳洲大陆的一部作为纹理。然而，未在纹理图像101或纹理图像102中绘制南极大陆和其它大陆。

另外，如图4的A的右部和图4的B的右部所描绘的，对应于纹理图像101的深度图像111和对应于纹理图像102的深度图像112相同。要注意的是，随着对应像素的位置在成像物体的深度方向上的距离增大，深度图像的像素值(亮度值)减小。因此，中心处的像素值在深度图像111和深度图像112中的每一个中变得最大，并且随着与中心的距离增大而减小。

如上所述，未在纹理图像101或纹理图像102中绘制南冰洋和其它大洋。因此，如图5所描绘的，通过使用纹理图像101和深度图像111重构三维结构121，并且纹理图像102和深度图像112仅构成球体81的一部，已经将世界地图粘附至该球体81的前表面和后表面作为纹理。

根据图3至5所描绘的示例，球体81的各个多边形具有相对简单的形状。然而，在各个多边形具有复杂形状的情况下，可能存在更多的难以通过两个视点的纹理图像来表示其三维结构的多边形区域。

图6和7是分别解释了通过在视点O1的视线方向V1上将球体81的后表面透视投影到透视投影表面上而生成的纹理图像以及对应于该纹理图像的深度图像的示意图。

如上所述，在通过将球体81的前表面透视投影到视点O1的视线方向V1上的透视投影表面上来生成纹理图像的情况下，在图6所描绘的纹理图像中绘制粘附至对应点c1的纹理，该对应点c1位于球体81的前表面并且首先穿过对应的投影方向82。另外，对应于该纹理图像的深度图像是表示对应点c1在视点O1的深度方向(视线方向V1)上的位置的图像。

另一方面，在通过将球体81的前表面透视投影到视点O1的视线方向V1上的透视投影表面上来生成纹理图像的情况下，在图6所描绘的纹理图像中绘制粘附至对应点c2的纹理，该对应点c2位于球体81的后表面并且首先穿过对应的投影方向82。另外，对应于该纹理图像的深度图像是表示对应点c2在视点O2的深度方向(视线方向V1)上的位置的图像。

例如，在将世界地图粘附至球体81的前表面和后表面作为纹理(其中，视点O1位于非洲海岸附近的大西洋上空)的情况下，如图7所描绘的，在视点O1的纹理图像131中绘制粘附至相应点c2处的后表面的北美大陆、南美大陆的一部、南极大陆、欧洲大陆的一部、亚洲大陆和澳洲大陆作为纹理。另外，对应于纹理图像131的深度图像132中的中心处的像素值变得最小，并且随着与中心的距离增大而减小。

图8至10是分别解释了通过将相应多边形的后表面透视投影到透视投影表面上而生成的纹理图像以及深度图像的示意图，该深度图像对应于面向3D模型坐标系的原点的两个视点中的各个视点的纹理图像。

根据图8至10所描绘的示例，主要成像物体的多边形对应于球体81。在这种情况下，在纹理图像中绘制粘附至区域153A(其位于球体81的后表面并且首先穿过相应的投影方向82)的纹理，该纹理图像是通过将球体81的后表面透视投影到图8的A所描绘的视点O1的视线方向V1上的透视投影表面上而生成的。另外，对应于该纹理图像的深度图像是表示区域81A在视点O1的深度方向(视线方向V1)上的位置的图像。

此外，在纹理图像中绘制粘附至区域153B(其位于球体81的后表面并且首先穿过相应的投影方向83)的纹理，该纹理图像是通过将球体81的后表面透视投影到图8的B所描绘的两个视点中的另一视点O2的视线方向V2上的透视投影表面上而生成的。另外，对应于该纹理图像的深度图像是表示区域81B在视点O2的深度方向(视线方向V2)上的位置的图像。

因此，如图8的C所描绘的，可以通过使用视点O1的纹理图像和深度图像以及视点O2的纹理图像和深度图像来表示相对于球体81的中心彼此相对的两个区域153A和153B的三维结构。

要注意的是，如图8的C所描绘的，区域153A和区域153B彼此重叠。因此，可以通过使用视点O1的纹理图像和深度图像以及视点O2的纹理图像和深度图像来表示整个球体81的三维结构。

例如，在将世界地图粘附至前表面和球体81的表面作为纹理(其中，视点O1位于非洲海岸附近的大西洋上空)的情况下，如图9的A的左部所描绘的，在视点O1的纹理图像161中绘制粘附至区域153A的后表面的北美大陆、南美大陆的一部、南极大陆、欧洲大陆的一部、亚洲大陆和澳洲大陆作为纹理。

而且，在这种情况下，视点O2位于太平洋上空。如图9的B的左部所描绘的，在视点O2的纹理图像162中绘制粘附至区域153B的后表面的非洲大陆、北美大陆、南美大陆、南极大陆和欧洲大陆的一部作为纹理。因此，至少在纹理图像161或者纹理图像162中绘制全部七个大陆。

另外，如图9的A的右部和图9的B的右部所描绘的，对应于纹理图像161的深度图像163和对应于纹理图像162的深度图像164相同。在深度图像163和深度图像164中的每一个中的中心处的像素值变得最小，并且随着与中心的距离增大而增大。

如上所述，至少在纹理图像161或者纹理图像162中绘制全部七个大陆。因此，如图10的A所描绘的，通过使用纹理图像161和深度图像163重构的三维结构171对应于比球体81的视点O2侧的一半(附图中的右半边)大的一部。另外，如图10的B所描绘的，通过使用纹理图像162和深度图像164重构的三维结构172对应于比球体81的视点O1侧的一半(附图中的左半边)大的一部。因此，可以通过使用纹理图像161和深度图像163以及纹理图像162和深度图像164重构三维结构来生成整个球体81。

要注意的是，通过使用纹理图像161和深度图像163或者纹理图像162和深度图像164来生成区域153A与区域153B之间的重叠区域。

例如，如图8的A所描绘的，在针对视点O1进行透视投影的情况下，在区域153A的末端处的在区域153A与区域153B之间的重叠区域中的各个区域154与投影方向82成小角度。因此，难以通过使用纹理图像161和深度图像163来以高准确性表示区域154的三维结构。

然而，在针对视点O2进行透视投影的情况下，与在图8的B所描绘的针对视点O1进行透视投影的情况下得到的角度相比，各个区域154与投影方向83成更大角度。因此，与通过使用纹理图像161和深度图像163实现的准确性相比，可以通过使用纹理图像162和深度图像164来以更高的准确性表示各个区域154的三维结构。因此通过使用纹理图像162和深度图像164来生成区域154。

如上所述，可以通过使用纹理图像161和深度图像163或者纹理图像162和深度图像164(即，与重叠区域成更大角度的图像)在区域153A与区域153B之间生成重叠区域来提高球体81的重构准确性。

(生成装置的过程的描述)

图11是解释了由图1中的生成装置12执行的生成过程的流程图。针对由N个成像装置11获取的N个拍摄图像和深度图像的各帧执行该生成过程。

在图11中的步骤S11中，生成装置12的区域提取部31从成像装置11提供的N个拍摄图像和深度图像中提取主要成像物体的区域和背景区域。区域提取部31将主要成像物体的区域的N个拍摄图像和深度图像提供给位置信息生成部32，并且将背景区域的N个拍摄图像和深度图像提供给全向图像生成部36。

在步骤S12中，位置信息生成部32通过使用从区域提取部31提供的主要成像物体的区域的N个深度图像来生成与主要成像物体的相应多边形相关联的位置信息，并且将所生成的位置信息提供给颜色信息生成部33和绘图部35。位置信息生成部32进一步将主要成像物体的区域的N个拍摄图像提供给颜色信息生成部33。

在步骤S13中，颜色信息生成部33通过使用从位置信息生成部32提供的与相应多边形相关联的位置信息和主要成像物体的区域的N个拍摄图像来生成与相应多边形的前表面和后表面相关联的颜色信息。颜色信息生成部33将与相应多边形的前表面和后表面相关联的颜色信息提供给绘图部35。

在步骤S14中，绘图部35基于与相应多边形相关联并从位置信息生成部32提供的位置信息生成相应多边形，并且基于与相应多边形的前表面和后表面相关联并从颜色信息生成部33提供的颜色信息来将纹理粘附至相应多边形的前表面和后表面。

在步骤S15中，绘图部35通过在预定的两个视点中的各个视点的视线方向上将相应多边形的后表面透视投影到透视投影表面上来生成两个视点的纹理图像。绘图部35将两个视点的纹理图像提供给编码器38。

在步骤S16中，绘图部35基于多边形生成对应于两个视点的相应纹理图像的深度图像，并且将所生成的深度图像提供给编码器38。

在步骤S17中，全向图像生成部36通过将从区域提取部31提供的背景区域的N个拍摄图像透视投影到正八面体上来生成全向图像的纹理图像，该正八面体的中心位于3D模型坐标系的原点处。全向图像生成部36将所生成的纹理图像提供给分辨率降低部37。

在步骤S18中，与拍摄图像类似，全向图像生成部36通过将从区域提取部31提供的背景区域的N个深度图像透视投影到正八面体上来生成全向图像的深度图像。全向图像生成部36将所生成的深度图像提供给分辨率降低部37。

在步骤S19中，分辨率降低部37降低从全向图像生成部36提供的全向图像的纹理图像和深度图像的分辨率，并且将由此产生的纹理图像和深度图像提供给编码器38。

在步骤S20中，编码器38对从绘图部35提供的两个视点的纹理图像和深度图像以及从分辨率降低部37提供的全向图像的纹理图像和深度图像进行编码。编码器38将如此生成的两个视点的视点纹理流和视点深度流以及全向纹理流和全向深度流提供给存储部39，并且使存储部39存储相应的流。

在步骤S21中，传输部40读取存储在存储部39中的两个视点的视点纹理流和视点深度流以及全向纹理流和全向深度流，并且传输所读取的流。此后，该过程结束。

如上所述，生成装置12通过将多边形的后表面透视投影到面向3D模型坐标系的原点的两个视点中的各个视点的视线方向上的透视投影表面上来生成两个视点的纹理图像和深度图像。因此，所生成的两个视点的纹理图像和深度图像可以表示三维结构，该三维结构包括比透视投影多边形的前表面的情况下的那些区域更多的主要成像物体的区域中的多边形。

(显示装置的配置示例)

图12是描述了作为已经应用本公开的图像处理装置的根据第一实施例的显示装置的配置示例的框图。

图12中的显示装置200接收两个视点的视点纹理流和视点深度流以及全向纹理流和全向深度流，各个流都是从图1中的生成装置12传输的，并且生成预定视点的纹理图像。

更具体地，显示装置200包括接收部201、存储部202、解码器203、重构部204、绘图部205和显示部206。

显示装置200的接收部201接收两个视点的视点纹理流和视点深度流以及全向纹理流和全向深度流，各个流都是从生成装置12传输的，并且将接收到的流提供给存储部202。

存储部202存储两个视点的视点纹理流和视点深度流以及全向纹理流和全向深度流，各个流都是从接收部201提供的。

解码器203从存储部202读取两个视点的视点纹理流和视点深度流以及全向纹理流和全向深度流，并且对所读取的流进行解码。解码器203将通过解码获取的两个视点的纹理图像和深度图像以及全向图像的纹理图像和深度图像提供给重构部204。

重构部204通过使用从解码器203提供的两个视点的纹理图像和深度图像在3D模型坐标系中重构主要成像物体的三维结构。如上所述，由生成装置12生成的两个视点的纹理图像和深度图像可以表示三维结构，该三维结构包括比透视投影多边形的前表面的情况下的那些区域更多的区域中的主要成像物体的多边形。因此，通过使用比使用两个视点的纹理图像和深度图像透视投影多边形的前表面的情况下的那些区域更多的区域中的两个视点的解码纹理图像和深度图像来重构主要成像物体的三维结构。

重构部204进一步通过使用从解码器203提供的全向图像的纹理图像和深度图像在3D模型坐标系中重构背景区域的三维结构。重构部204将与主要成像物体和背景区域的三维结构相关联的位置信息和颜色信息提供给绘图部205。

绘图部205(图像生成部)基于与主要成像物体和背景区域的三维结构相关联并且从重构部204提供的位置信息和颜色信息在3D模型坐标系中生成由收听者/查看者等指定的视点、视线方向和视角的纹理图像作为显示图像。绘图部205将所生成的显示图像提供给显示部206。

显示部206显示从绘图部205提供的显示图像。通过这种方式，例如，收听者/查看者可以从主要成像物体周围的任何位置查看主要成像物体。

(第一重构方法的描述)

图13是解释了第一重构方法的示意图。

要注意的是，为了便于解释，假设两个视点的纹理图像和深度图像在图13的示例中具有水平4个像素×垂直4个像素的分辨率。另外，参照图13描述了使用两个视点中的一个视点O1的纹理图像和深度图像来重构主要成像物体的三维结构的情况。

第一重构方法是用于通过使用点云重构三维结构的方法。更具体地，根据第一重构方法，如图13所描绘的，重构部204基于视点O1、视线方向V1、视角2θ、对应于视点O1的纹理图像220的相应像素221的采样点231在纹理图像220上的位置(u，v)以及对应于纹理图像220的深度图像的相应像素221的像素值来在3D模型坐标系中生成采样点231的三维坐标(X，Y，Z)。

重构部204进一步将作为纹理图像220的相应像素221的像素值的YCbCr值转换为RGB值，并且将转换后的RGB值指定为对应于相应像素221的采样点231的RGB值。重构部204在相应采样点231的三维坐标(X，Y，Z)处绘制相应采样点231的RGB值的点以重构主要成像物体的三维结构。重构部204将相应采样点231的三维坐标(X，Y，Z)提供给绘图部205作为与主要成像物体的三维结构相关联的位置信息，并且将相应采样点231的RGB值提供给绘图部205作为与主要成像物体的三维结构相关联的颜色信息。

(第二重构方法的描述)

图14是解释了第二重构方法的示意图。

要注意的是，为了便于解释，假设两个视点的纹理图像和深度图像在图14的示例中具有水平4个像素×垂直3个像素的分辨率。另外，参照图14描述了使用两个视点中的一个视点O1的纹理图像和深度图像来重构主要成像物体的三维结构的情况。

第二重构方法是用于通过使用三角形图元重构三维结构的方法。更具体地，根据第二重构方法，如图14的左部所描绘的，重构部204在视点O1的纹理图像240上生成对应于相应像素241的采样点251。重构部204通过连接对应于纹理图像240的全部像素的采样点251中包括的三个邻近采样点251来生成三角形图元252，该三角形图元252的顶点位于三个邻近采样点251处。

重构部204进一步基于视点O1、视线方向V1、视角2θ、相应采样点251在纹理图像240上的位置(u，v)以及对应于纹理图像240的深度图像的相应像素241的像素值来生成3D模型坐标系的对应于相应采样点251的三维坐标(X，Y，Z)。

然后，如图14的右部所描绘的，重构部204基于相应采样点251的三维坐标(X，Y，Z)来在3D模型坐标系上标绘对应于相应采样点251的相应采样点261。重构部204进一步通过连接对应于三个采样点251的采样点261来生成三角形图元262，这三个采样点251构成三角形图元252的顶点。

重构部204还针对各个三角形图元262将像素241的YCbCr值转换为RGB值，该像素241构成对应于三角形图元262的三角形图元252，并且通过使用如此获得的RGB值来生成三角形图元262的RGB值。针对各个三角形图元262，重构部204将具有对应三角形图元262的RGB值的纹理粘附至对应三角形图元262。通过这种方式，重构部204重构主要成像物体的三维结构。重构部204将采样点261的三维坐标(X，Y，Z)提供给绘图部作为与主要成像物体的三维结构相关联的位置信息，该采样点261构成各个三角形图元262的顶点。重构部204进一步将各个三角形图元262的RGB值提供给绘图部205作为与主要成像物体的三维结构相关联的颜色信息。

已经参照图13和14描述了用于通过使用视点O1的纹理图像和深度图像来重构主要成像物体的三维结构的方法。该方法也适用于用于通过使用视点O2的纹理图像和深度图像来重构主要成像物体的三维结构的方法以及用于通过使用全向图像的纹理图像和深度图像来重构背景区域的三维结构的方法。

(显示装置的过程的描述)

图15是解释了由图12中的显示装置200执行的显示过程的流程图。例如，响应于在两个视点的视点纹理流和视点深度流以及全向纹理流和全向深度流存储在存储部202的状态下收听者/查看者对显示图像发出显示请求，该显示过程开始。

在图15中的步骤S32中，解码器203从存储部202读取两个视点的视点纹理流和视点深度流以及全向纹理流和全向深度流，并且对所读取的流进行解码。解码器203将两个视点的纹理图像和深度图像以及全向图像的纹理图像和深度图像提供给重构部204，各个图像都是通过解码获取的。

在步骤S33中，重构部204通过使用从解码器203提供的两个视点的纹理图像和深度图像在3D模型坐标系中重构主要成像物体的三维结构。重构部204将与主要成像物体的三维结构相关联的位置信息和颜色信息提供给绘图部205。

在步骤S34中，重构部204进一步通过使用从解码器203提供的全向图像的纹理图像和深度图像在3D模型坐标系中重构背景区域的三维结构。重构部204将与背景区域的三维结构相关联的位置信息和颜色信息提供给绘图部205。

在步骤S35中，绘图部205基于与主要成像物体和背景区域的三维结构相关联并且从重构部204提供的位置信息和颜色信息在3D模型坐标系中生成由收听者/查看者等指定的视点、视线方向和视角的纹理图像作为显示图像。绘图部205将所生成的显示图像提供给显示部206。

在步骤S36中，显示部206显示从绘图部205提供的显示图像，并且该过程结束。

如上所述，显示装置200通过使用由生成装置12生成的两个视点的纹理图像和深度图像来生成显示图像。在这种情况下，在比使用两个视点的纹理图像和深度图像来针对两个视点中的各个视点透视投影多边形的前表面的情况下的那些区域更多的重构三维结构的区域中，可以通过主要成像物体的三维结构生成显示图像。因此，显示图像的图像质量提高。

<第二实施例>

(生成装置的配置示例)

图16是描述了作为已经应用本公开的图像处理装置的根据第二实施例的生成装置的配置示例的框图。

将相同的参考标记赋予图16所描绘的与图1中的对应配置相同的配置。在适当情况下将省略相同描述。

图16中的生成装置300的配置与图1中的生成装置12的配置的不同之处在于，新提供了重构部301、视点控制部302和层图像生成部303，并且提供了编码器304、存储部305和传输部306来代替编码器38、存储部39和传输部40。

除了视点纹理流、视点深度流、全向纹理流和全向深度流之外，生成装置300生成多个层的纹理图像的编码流(在下文中称为层纹理流)以及深度图像的编码流(在下文中称为层深度流)。

更具体地，重构部301通过基于从N个成像装置11提供的N个拍摄图像和深度图像进行三维重构来在3D模型坐标系中生成三维模型，该三维模型表示拍摄图像内的各个物体的三维结构。重构部301将所生成的三维模型提供给层图像生成部303。

要注意的是，供重构部301使用的3D模型坐标系可以与供位置信息生成部32等使用的3D模型坐标系相同或不同。

视点控制部302在3D模型坐标系中将视点和视线方向设置为用于生成相应层的纹理图像和深度图像的参考。视点控制部302将指示所设置的视点和视线方向的视点信息提供给层图像生成部303。

层图像生成部303基于由视点控制部302设置的视点和视线方向生成多个层的纹理图像和深度图像，如下面描述的。换言之，层图像生成部303根据与视线方向上的视点的距离将在视线方向上从所设置的视点看的纹理图像和深度图像分类为多个层。相应层的各个纹理图像和深度图像包含物体，该物体位于与所设置的视点相距针对各个层设置的预定阈值或者在视线方向上长于预定阈值的距离处。要注意的是，较高层(数值较小的层)具有较短阈值，并且包含位于与视线方向上的视点相距较短距离处的成像物体(在下文中也称为物体)。另一方面，较低层(数值较小的层)具有较长阈值，并且仅包含与视线方向上的视点相距较长距离处的物体。层图像生成部303将相应层的纹理图像和深度图像提供给编码器38。

要注意的是，在某些情况下，相应层的纹理图像和深度图像在下文中统称为层图像。

与图1中的编码器304类似，编码器304对两个视点的纹理图像和深度图像进行编码，并且对全向图像的纹理图像和深度图像进行编码。编码器304进一步对从层图像生成部303提供的相应层的纹理图像和深度图像进行编码。通过这种方式，生成相应层的层纹理流和层深度流。编码器304将两个视点的视点纹理流和视点深度流、全向纹理流和全向深度流以及相应层的层纹理流和层深度流提供给存储部305。

存储部305存储两个视点的视点纹理流和视点深度流、全向纹理流和全向深度流以及相应层的层纹理流和层深度流，各个流都是从编码器304提供的。

传输部306读取并传输两个视点的视点纹理流和视点深度流、全向纹理流和全向深度流以及相应层的层纹理流和层深度流，各个流都存储在存储部305中。

(生成装置的过程的描述)

接下来将描述由生成装置300执行的过程。要注意的是，由生成装置300执行的用于生成两个视点的视点纹理流和视点深度流以及全向纹理流和全向深度流的过程与由图1中的生成装置12执行的对应过程类似，因此省略该过程的描述。现在将参照图17中的流程图描述由生成装置300执行的用于生成相应层的纹理流和深度流的过程。

在步骤S101中，生成装置300的重构部301基于从成像装置11提供的N个拍摄图像和深度图像在3D模型坐标系中生成三维模型，该三维模型表示拍摄图像内的各个物体的三维结构。重构部301将所生成的三维模型提供给层图像生成部303。

在步骤S102中，生成装置300执行层图像生成过程。下面将参照图18和其它附图描述层图像生成过程的细节。通过该过程生成相应层的纹理图像和深度图像。

在步骤S103中，编码器304对从层图像生成部303提供的相应层的纹理图像和深度图像进行编码。编码器304将如此生成的相应层的层纹理流和层深度流提供给存储部305，并且使存储部305存储所提供的流。

在步骤S104中，传输部306读取并传输存储在存储部305中的相应层的层纹理流和层深度流。此后，该过程结束。

接下来将参照图18中的流程图描述图17中的步骤S102中的层图像生成过程的细节。

在步骤S131中，视点控制部302设置视点和视线方向。换言之，视点控制部302在3D模型坐标系中将视点和视线方向设置为用于生成相应层的纹理图像和深度图像的参考。视点控制部302将指示所设置的视点和视线方向的视点信息提供给层图像生成部303。

例如，要注意的是，视点和视线方向由用户设置。

在步骤S132中，层图像生成部303选择未生成图像的其中一个层。换言之，层图像生成部303从尚未生成图像的层中选择最上层(离视点最近的层)。因此，在初始步骤S132的处理中选择第一层。

要注意的是，所选择的层在下文中也称为感兴趣的层。

在步骤S133中，层图像生成部303根据所选择的层设置最短距离阈值。最短距离阈值指示从在感兴趣的层的纹理图像和深度图像中绘制的物体中的视线方向上的视点到最近物体的距离。因此，未在感兴趣的层的纹理图像和深度图像中绘制位于与视线方向上的视点相距短于最短距离阈值的距离处的物体。

要注意的是，第一层的最短距离阈值设置为0。因此，在第一层的纹理图像和深度图像中绘制从三维模型中的视线方向上的视点可见的所有物体。

另外，将第二层和第二层之后的层的最短距离阈值的较大值赋予较低层。因此，在较高层的纹理图像和深度图像中绘制位于与视线方向上的视点相距较短距离处的物体。另一方面，在较低层的纹理图像和深度图像中绘制位于与视线方向上的视点相距较长距离处的物体，而不是位于与视线方向上的视点相距较短距离处的物体。

要注意的是，最短距离阈值设置为比三维模型的背景(例如，天空、远处风景)与视线方向上的视点的距离短的距离。

在步骤S134中，层图像生成部303选择未设置像素值和深度值中的每一个的其中一个像素。更具体地，层图像生成部303从投影表面中的像素中选择未设置像素值和深度值的像素，该投影表面垂直于视线方向，具有预定大小(例如，1080个垂直像素×1920个水平像素)，并且设置为使得来自视点的视线大致穿过表面的中心。

要注意的是，所选择的像素在下文中也称为感兴趣的像素。在下文中进一步假设，投影表面的水平方向是x轴方向，投影表面的垂直方向是y轴方向，并且视线方向(即，垂直于投影表面的方向)是z轴方向。

在步骤S135中，层图像生成部303对像素方向上的初始物体执行光线投射。更具体地，层图像生成部303在从视点向着感兴趣的像素的方向(像素方向)上延伸光线(光束)，并且检测光线与三维模型内的初始物体的前表面之间的碰撞的位置(在下文中称为采用候选位置)。

在步骤S136中，层图像生成部303确定在视线方向上到物体的距离是否是最短距离阈值或更长。换言之，层图像生成部303将在下面描述的步骤S135或步骤S137中检测到的采用候选位置与视线方向(z轴方向)上的视点的距离与最短距离阈值相比较。此后，在层图像生成部303确定在视线方向上到采用候选位置的距离短于最短距离阈值的情况下，该过程转到步骤S137。

在步骤S137中，层图像生成部303对像素方向上的后续物体执行光线投射。更具体地，层图像生成部303进一步在像素方向上延伸光线，并且检测光线与当前物体之后的物体的前表面之间的碰撞的位置(采用候选位置)。

此后，该过程返回到步骤S316。在步骤S136中，重复执行步骤S136和S137中的处理，直到确定物体在视线方向上的距离是最短距离阈值或更长。

通过这种方式，从存在于像素方向上的物体中检测离视点最近并且位于与视线方向上的视点相距等于或长于最短距离阈值的距离处的物体。将所选择的物体的前表面确定为最终采用候选位置。

要注意的是，如上所述，将最短距离阈值设置为比在视线方向上从视点到三维模型的背景的距离短的距离。因此，即使在像素方向上不存在物体，也将像素方向上的背景检测为最终采用候选位置。

另一方面，在视线方向上到物体的距离在步骤S136中是最短距离阈值或更长的情况下，该过程转到步骤S138。

在步骤S138中，层图像生成部303设置所选择的像素的像素值和深度值。更具体地，层图像生成部303在感兴趣的层的纹理图像中将采用候选位置的像素值设置为感兴趣的像素的像素值。层图像生成部303进一步在感兴趣的层的深度图像中将在视线方向(z轴方向)上从视点到采用候选位置的距离设置为感兴趣的像素的深度值。

在步骤S139中，层图像生成部303确定是否存在未设置像素值和深度值的像素。在确定存在未设置像素值和深度值的像素的情况下，该过程返回到步骤S134。

此后，重复执行从步骤S134到步骤S139的处理，直到在步骤S139中确定不存在未设置像素值和深度值的像素。通过这种方式，在感兴趣的层的纹理图像中设置全部像素的像素值，并且在感兴趣的层的深度图像中设置全部像素的深度值。

另一方面，在步骤S139中确定不存在未设置像素值和深度值的像素的情况下，该过程转到步骤S140。

在步骤S140中，层图像生成部303确定是否存在未生成图像的层。在确定存在未生成图像的层的情况下，该过程返回到步骤S132。

此后，重复执行从步骤S132到S140的处理，直到在步骤S140中确定不存在未生成图像的层。通过这种方式，生成相应层的纹理图像和深度图像。

另一方面，在步骤S140中确定存在未生成图像的层的情况下，层图像生成过程结束。

在本文中将参照图19至22描述图18中的层图像生成过程的具体示例。

图19和20分别描绘了成像装置11和相应物体的布置示例。图19是大致从前面看的相应物体的示意图。图20是从上面看的相应物体的示意图。

根据图19和20中的示例，人331、车辆332、建筑物333、住宅334、住宅335、建筑物336、建筑物337和住宅338包括在成像目标中。建筑物333、住宅334、住宅335、建筑物336、建筑物337和住宅338水平设置为一行。车辆332停在住宅335和建筑物336前面。人331站在车辆332前面。从前面看，车辆332的一部以及基本上整个住宅335在人331后面不可见。

图19和20仅分别描绘了成像装置11-1至11-9。例如，成像装置11设置在包含人331至住宅338的相应物体的区域的外围的至少一部周围，处于在水平方向和垂直方向上围绕外围的至少一部的位置中，并且分别从不同视点拍摄包含相应物体的区域的图像。要注意的是，附图所描绘的成像装置11-1至11-8中的成像装置11-1、11-3、11-5和11-8中的每一个都从上面拍摄成像物体的图像，并且成像装置11-2、11-4、11-6和11-8中的每一个都从下面拍摄成像物体的图像。成像装置11-1和11-2中的每一个都设置为从左斜前方到右斜前方拍摄人331的图像。成像装置11-3和11-4中的每一个都设置为大致沿着相对于前面略微向左的前方拍摄人331的图像。成像装置11-5和11-6中的每一个都设置为大致沿着相对于前面略微向右的前方拍摄人331的图像。成像装置11-7和11-8中的每一个都设置为从右斜前方到左斜方拍摄人331的图像。成像装置11-9设置为大致从右方到左斜前方拍摄人331的图像。

图21的左部的示意图描绘了由成像装置11-3(图像拍摄相机21-3)拍摄的拍摄图像的示例，而右部的示意图描绘了由成像装置11-5(图像拍摄相机21-5)拍摄的拍摄图像的示例。

如这些示例所描绘的，在成像装置11-3和11-5的各个拍摄图像中，与从前面看的相应物体的状态不同，基本上显现了整个车辆332，其中，在人331后面没有不可见的部。另一方面，在左边的拍摄图像中，基本上显现了整个住宅335，其中，在人331和车辆332后面没有不可见的部。

如上所述，可以通过从在水平方向和垂直方向上围绕区域的位置对包含相应物体的区域进行成像来拍摄从预定视点看的在另一物体后面不可见的物体的一部或整体的图像。因此，可以通过在成像装置11的数量和位置的控制下成像并且执行如此获取的拍摄图像的适当处理(诸如，坐标转换和合成)来参照预定视点生成相应层的纹理图像。

例如，图22描绘了纹理图像的示例，该纹理图像具有三层结构并且是基于由相应的成像装置11拍摄的图19中的相应物体的拍摄图像生成的。

图22的左部的示意图是从上面看的相应物体之间的位置关系的示意图。图22的右部的示意图描绘了在相应物体之间的位置关系是左部的示意图所描绘的状态的状态下的第一层至第三层的纹理图像的示例。

要注意的是，图22中的从人331到视点P的方向和从人331到车辆332的方向在下文中分别被定义为正向和反向。另外，图22中的从建筑物333到住宅338的方向和从住宅338到建筑物333的方向分别被定义为右方向和左方向。这些定义也适用于其它类似附图。

在第一层的纹理图像中绘制由左部的示意图中的线L1指示的部。更具体地，从视点P看的从人331到住宅338的全部物体对应于绘图目标。另外，车辆332在人331后面不可见。

在第二层的纹理图像中绘制由左部的示意图中的线L2指示的部。更具体地，在第二层的纹理图像中绘制整个车辆332，其中，从第一层的纹理图像中移除人331。另外，住宅335的一部和建筑物336的一部在车辆332后面不可见。

在第三层的纹理图像中绘制由左部的示意图中的线L3指示的部。更具体地，在第三层的纹理图像中绘制整个住宅335和整个建筑物336，其中，在第二层的纹理图像中移除车辆332。

如上所述，通过根据与视点P的距离对相应物体进行分类来绘制在较高层的纹理图像中的前方物体后面不可见的物体并且使其在较低层的纹理图像中变得可见。

将进一步参照图23至25更具体地描述图18中的层图像生成过程。要注意的是，将相同的参考标记赋予图23至25所描绘的与图19和20中的对应配置相同的配置。

图23至25中的每一个的左部的示意图是从上面看的相应物体之间的位置关系的示意图。图23至25中的每一个的右部的示意图描绘了在相应物体之间的位置关系是左部的示意图所描绘的状态的状态下的第一层至第三层的纹理图像的示例。

要注意的是，图23至25中的相应层的纹理图像以时间序列设置，描绘了车辆332从人331的左后方移动到右后方的状态下相应层的纹理图像的示例。

在图23至25的示例中设置最短距离阈值TH1至TH3。最短距离阈值TH1设置为0。最短距离阈值TH2设置为从视点P到人331与车辆332之间的位置的距离。最短距离阈值TH3设置为从视点P到车辆332与从建筑物333到住宅338的相应物体之间的位置的距离。

因此，在第一层的纹理图像中，从人331到住宅338的全部物体都是绘图目标，全部物体都分别位于与视线方向上的视点P相距等于或长于最短距离阈值TH1的距离处。在第二层的纹理图像中，从车辆332到住宅338的物体是绘图目标，这些物体都分别位于与视线方向上的视点P相距等于或长于最短距离阈值TH2的距离处。从绘图目标中移除人331，人331位于与视线方向上的视点P相距短于最短距离阈值TH2的距离处。在第三层的纹理图像中，从建筑物333到住宅338的物体是绘图目标，这些物体都分别位于与视线方向上的视点P相距等于或长于最短距离阈值TH3的距离处。从绘图目标中移除人331和车辆332，人331和车辆332分别位于与视线方向上的视点P相距短于最短距离阈值TH3的距离处。

因此，在第一层的纹理图像中，根据车辆332移动到右方，车辆332在人331后面变得不可见。另一方面，从第二层的纹理图像中移除人331，从而将车辆332从左方移动到右方的状态全部绘制出来。此外，从第三层的纹理图像中移除人331和车辆332，从而将从建筑物333到住宅338的相应物体的整体绘制为人331和车辆332的背景。

要注意的是，用于生成相应层的深度图像的方法与上述的用于生成相应层的纹理图像的方法类似。

(显示装置的配置示例)

图26是描述了作为已经应用本公开的图像处理装置的根据第二实施例的显示装置的配置示例的框图。

将相同的参考标记赋予图26所描绘的与图12中的对应配置相同的配置。在适当情况下将省略相同描述。

图26中的显示装置400的配置与图12中的显示装置200的配置的不同之处在于，新提供了绘图部404，并且提供了接收部401、存储部402、解码器403和显示部405来代替接收部201、存储部202、解码器203和显示部206。除了视点纹理流、视点深度流、全向纹理流和全向深度流之外，显示装置400还基于相应层的层纹理流和层深度流生成显示图像。

显示装置400的接收部401接收两个视点的视点纹理流和视点深度流、全向纹理流和全向深度流以及相应层的层纹理流和层深度流，各个流都是从生成装置300传输的，并且将接收到的流提供给存储部402。

存储部402存储两个视点的视点纹理流和视点深度流、全向纹理流和全向深度流以及相应层的层纹理流和层深度流，各个流都是从接收部401提供的。

解码器403从存储部402读取两个视点的视点纹理流和视点深度流、全向纹理流和全向深度流以及相应层的层纹理流和层深度流，并且对所读取的流进行解码。解码器403将两个视点的纹理图像和深度图像以及全向图像的纹理图像和深度图像提供给重构部204，各个流都是通过解码获取的。解码器403进一步将通过解码获取的相应层的纹理图像和深度图像提供给绘图部404。

绘图部404(图像生成部)通过使用从解码器403提供的相应层的纹理图像和深度图像来生成显示图像。例如，绘图部404通过使用由收听者/查看者等指定的层的纹理图像来生成二维显示图像。可替代地，绘图部404通过使用由收听者/查看者等指定的层的纹理图像和深度图像来生成三维显示图像。绘图部404将显示图像提供给显示部405。

显示部405显示从绘图部205或者绘图部404提供的显示图像。

(显示装置的过程的描述)

接下来将描述由显示装置400执行的过程。要注意的是，由显示装置400执行的用于通过使用视点纹理流和视点深度流以及全向纹理流和全向深度流来生成和显示显示图像的过程与由图12中的显示装置200执行的对应过程类似，因此省略该过程的描述。现在将参照图27中的流程图描述由显示装置400执行的用于通过使用相应层的纹理流和深度流来生成和显示显示图像的过程。

在步骤S201中，解码器403从存储部402读取相应层的层纹理流和层深度流，并且对所读取的流进行解码。解码器403将通过解码获取的相应层的纹理图像和深度图像提供给绘图部404。

在步骤S202中，绘图部404通过使用相应层的纹理图像和深度图像来生成显示图像。例如，绘图部404通过使用由收听者/查看者等指定的层的纹理图像来生成二维显示图像。可替代地，绘图部404通过使用由收听者/查看者等指定的层的纹理图像和深度图像来生成三维显示图像。绘图部404将显示图像提供给显示部405。

在步骤S203中，显示部405显示从绘图部404提供的显示图像，并且该过程结束。

例如，在图23至25的上述示例中指定显示第一层的情况下，显示包含全部物体的第一层的二维或三维显示图像。在指定显示第二层的情况下，显示第二层的二维或三维显示图像，第二层包含除了人331之外的物体。在指定显示第三层的情况下，显示第三层的二维或三维显示图像，第三层包含除了人331和车辆332之外的物体。

通过这种方式，可以通过收听者/查看者对层的指定根据与视线方向上的视点P的距离来控制相应物体的显示或不显示。例如，收听者/查看者可以通过指定较低层来将靠近视点P的物体设置为不显示，使得可以显示并在视觉上识别在不显示的物体后面不可见的物体。

(层图像生成过程的修改示例)

在本文中将参照图28至30描述层图像生成过程的修改示例。根据该示例，在较高层绘制的物体的整体或一部不在较低层绘制。

图28至30分别描绘了在与图23至25中的前述布置相同的物体布置中在较高层绘制的物体的整体或一部不在较低层绘制的情况下相应层的纹理图像的示例。

在图28中的第一层的纹理图像中，建筑物333的一部、住宅334的一部、住宅335的一部和建筑物336的一部在人331和车辆332后面不可见。因此，在第二层的纹理图像中仅绘制在第一层的纹理图像中在人331和车辆332后面不可见的一部。在第二层的纹理图像中不存在在其它物体后面不可见的物体，因此在第三层的纹理图像中不绘制任何物体。

在图29中的第一层的纹理图像中，车辆332的一部、住宅335的一部和建筑物336的一部在人331后面不可见。另外，住宅334的一部和住宅335的一部在车辆332后面不可见。因此，在第二层的纹理图像中仅绘制在第一层的纹理图像中在人331和车辆332后面不可见的一部。在第二层的纹理图像中，住宅335的一部在车辆332后面不可见。因此，在第三层的纹理图像中仅绘制在第二层的纹理图像中在车辆332后面不可见的一部。

在图30中的第一层的纹理图像中，整个车辆332、住宅335的一部和建筑物336的一部在人331后面不可见。因此，在第二层的纹理图像中仅绘制在第一层的纹理图像中在人331后面不可见的一部。在第二层的纹理图像中，住宅335的一部和建筑物336的一部在车辆332后面不可见。因此，在第三层的纹理图像中仅绘制在第二层的纹理图像中在车辆332后面不可见的一部。

<第三实施例>

(显示装置的配置示例)

图31是描述了作为已经应用本公开的图像处理装置的根据第三实施例的显示装置的配置示例的框图。

将相同的参考标记赋予图31所描绘的与图26中的对应配置相同的配置。在适当情况下将省略相同描述。

图31中的显示装置500的配置与图26中的显示装置400的配置的不同之处在于，新提供了区段信息生成部501，并且提供了绘图部502来代替绘图部404。显示装置500可以单独改变相应层的层图像中的相应物体的显示模式。例如，显示装置500可以单独改变各个物体的整体或一部的显示/不显示、移动、旋转、大小上的放大/缩小和修改以及各个物体的色调、颜色、亮度、分辨率、透明度等。

显示装置500的区段信息生成部501通过使用从解码器403提供的相应层的纹理图像和深度图像来生成分段表。如下面参照图35所描述的，分段表是指示区段在层方向和像素方向上的位置的区段信息。该区段是相应物体存在于相应层的层图像(纹理图像和深度图像)中的区段。区段信息生成部501将相应层的纹理图像和深度图像以及分段表提供给绘图部502。区段信息生成部501进一步使存储部402存储分段表。

绘图部502(图像生成部)通过使用从区段信息生成部501提供的相应层的纹理图像和深度图像以及分段表和图像分段表来生成显示图像。例如，绘图部502通过使用由收听者/查看者等指定的层的纹理图像来生成二维显示图像。可替代地，例如，绘图部502通过使用由收听者/查看者等指定的层的纹理图像和深度图像来生成三维显示图像。绘图部502进一步基于收听者/查看者等的指定来改变显示图像内的相应物体的显示模式。绘图部502将显示图像提供给显示部405。

(显示装置的过程的描述)

接下来将描述由显示装置500执行的过程。要注意的是，由显示装置500执行的用于通过使用视点纹理流和视点深度流以及全向纹理流和全向深度流来生成和显示显示图像的过程与由图12中的显示装置200执行的对应过程类似，因此省略该过程的描述。现在参照图32中的流程图描述由显示装置500执行的用于通过使用相应层的纹理流和深度流来生成和显示显示图像的过程。

在步骤S301中，解码器403从存储部402读取相应层的层纹理流和层深度流，并且对所读取的流进行解码。解码器403将通过解码获取的相应层的纹理图像和深度图像提供给区段信息生成部501。

在步骤S302中，区段信息生成部501执行区段信息生成过程。

在本文中将参照图33中的流程图描述区段信息生成过程的细节。要注意的是，在适当情况下将参照图34和35描述区段信息生成过程的具体示例。图34描绘了第一层至第三层的纹理图像的区段的示例，而图35描绘了分段表的示例。

在步骤S331中，区段信息生成部501对相应层的纹理图像执行分段。更具体地，区段信息生成部501通过预定方法来针对各个物体将相应层的各个纹理图像划分成一个或多个区段。

要注意的是，分段采用的方法可以是任何方法。另外，不仅可以使用纹理图像的像素值来执行分段，也可以使用深度图像的深度值来执行分段。

区段信息生成部501进一步赋予区段号以唯一地识别相应层的纹理图像的区段。将从0开始以升序排列的区段号赋予从较高层开始以降序排列的层的纹理图像中的区段。

例如，在图34的示例中，在第一层的纹理图像中识别区段号0至3的四个区段。在第二层的纹理图像中识别区段号4至6的三个区段。在第三层的纹理图像中识别区段号7和8的两个区段。

区段信息生成部501进一步基于分段结果生成分段表。例如，在图35中的分段表中，针对各个层设置层图像的各个像素的x坐标、y坐标和区段号(seg)。因此，针对相应层的层图像的各个像素，在分段表中指示对应像素所属的区段的区段号。

要注意的是，将在该过程中赋予的区段号判定为作为最高层的第一层中的相应区段的区段号。例如，在图34的示例中将区段号0至3判定为第一层中的相应区段的区段号。随着区段号的判定，也判定了第一层中的层图像的相应像素的区段号。

在步骤S332中，区段信息生成部501从未判定区段号的各个层中选择最高层。要注意的是，在初始步骤S332中选择第二层。

要注意的是，所选择的层在下文中也称为感兴趣的层。

在步骤S333中，区段信息生成部501在所选择的层中从未判定区段号的各个像素中选择一个像素。

要注意的是，所选择的像素在下文中也称为感兴趣的像素。

在步骤S334中，区段信息生成部501将所选择的像素的像素值与较高层中的像素值相比较。换言之，区段信息生成部501将感兴趣的层的纹理图像中的感兴趣的像素的像素值与位于相应层的纹理图像中的相同位置处的像素的像素值相比较，该相应层高于感兴趣的层。

在步骤S334中，区段信息生成部501基于像素值的比较结果来判定包含所选择的像素的区段的区段号。更具体地，在较高层中的纹理图像中存在具有与感兴趣的层的纹理图像中的感兴趣的像素的像素值相同的像素值的像素的情况下，区段信息生成部501识别到包含较高层的纹理图像中的对应像素的区段以及包含感兴趣的像素的区段是对应于相同物体的区段。此后，区段信息生成部501将包含感兴趣的像素的区段的区段号更新为较高层的纹理图像中的对应像素的区段号的相同值。区段信息生成部501进一步将属于与感兴趣的层中的感兴趣的像素的区段相同的区段的像素的区段号更新为更新后的区段号，并且判定更新后的区段号。通过这种方式，包括在不同层中并且对应于相同物体的区段彼此相关联。

例如，在图34的示例中，将第二层中的区段号4的区段识别为对应于与第一层中的区段号0的区段的物体相同的物体的区段。在这种情况下，将区段号4更新为0并且判定该区段号。将第二层中的区段号5的区段识别为对应于与第一层中的区段号2的区段的物体相同的物体的区段。在这种情况下，将区段号5更新为2并且判定该区段号。将第二层中的区段号6的区段识别为对应于与第一层中的区段号3的区段的物体相同的物体的区段。在这种情况下，将区段号6更新为3并且判定该区段号。将第三层中的区段号7的区段识别为对应于与第一层中的区段号0的区段的物体相同的物体的区段。在这种情况下，将区段号7更新为0并且判定该区段号。将第三层中的区段号8的区段识别为对应于与第一层中的区段号3的区段的物体相同的物体的区段。在这种情况下，将区段号8更新为3并且判定该区段号。

另一方面，在较高层中的纹理图像中不存在与感兴趣的层的纹理图像中的感兴趣的像素的像素值相同的像素值的像素的情况下，区段信息生成部501将当前区段号判定为包含感兴趣的像素的区段的区段号。区段信息生成部501进一步将当前区段号判定为属于与感兴趣的层中的感兴趣的像素的区段相同的区段的像素的区段号。

区段信息生成部501将分段表中的相应像素的区段号更新为所判定的区段号。

在步骤S336中，区段信息生成部501确定在所选择的层中是否存在未判定区段号的像素。在所选择的层中存在未判定区段号的像素的情况下，该过程返回到步骤S333。

此后，重复执行从步骤S333到步骤S336的处理，直到确定不存在未判定区段号的像素。通过这种方式，判定感兴趣的层的全部像素的区段号。

另一方面，在步骤S336中确定不存在未判定区段号的像素的情况下，该过程转到步骤S337。

在步骤S337中，区段信息生成部501确定是否存在未判定区段号的层。在确定存在未判定区段号的层的情况下，该过程返回到步骤S332。

此后，重复执行从步骤S332到步骤S337的处理，直到确定不存在未判定区段号的层。通过这种方式，判定全部层中的全部像素的区段号。

另一方面，在步骤S337中确定不存在未判定区段号的层的情况下，该过程转到步骤S338。

在步骤S338中，区段信息生成部501输出相应层的纹理图像和深度图像以及分段表。换言之，区段信息生成部501将相应层的纹理图像和深度图像以及分段表提供给绘图部502。区段信息生成部501进一步使存储部402存储分段表。

返回到图32，绘图部502在步骤S303确定是否发出了不显示物体的指令。例如，期望不显示某个物体的收听者/查看者指定要显示的层和不显示的物体。随后，在绘图部502确定发出了不显示物体的指令的情况下，该过程转到步骤S304。要注意的是，绘图部502基于分段表获取对应于所指定的不显示的物体的区段的区段号。

在步骤S304中，绘图部502执行绘图目标像素选择过程。在本文中将参照图36中的流程图描述绘图目标像素选择过程的细节。

在步骤S361中，绘图部502选择未处理的其中一个像素。

要注意的是，所选择的像素在下文中也称为感兴趣的像素。

在步骤S362中，绘图部502选择在图32中的步骤S303中的处理中指定的层。要注意的是，例如，在尚未指定要显示的层的情况下，绘图部502选择最高层。

要注意的是，所选择的层在下文中也称为感兴趣的层。

在步骤S363中，绘图部502确定与不显示的物体的像素一致。更具体地，在感兴趣的层中的感兴趣的像素的区段号与分段表中的不显示的物体的区段号一致的情况下，绘图部502确定感兴趣的像素是不显示的物体的像素。该过程然后转到步骤S364。

在步骤S364中，绘图部502确定是否存在较低层。在确定存在较低层的情况下，该过程转到步骤S365。

在步骤S365中，绘图部502选择低一层的层。通过这种方式，感兴趣的层切换到第一层的层。

此后，该过程返回到步骤S363。重复执行从步骤S363到步骤S365的处理，直到在步骤S363中确定像素不是不显示的物体的像素，或者在步骤S364中确定不存在较低层。

另一方面，在步骤S363确定像素不是不显示的物体的像素或者在步骤S364中确定不存在较低层的情况下，该过程转到步骤S366。

在步骤S366中，绘图部502将当前层中的像素设置为绘图目标像素。换言之，绘图部502将感兴趣的层的纹理图像中的感兴趣的像素以及感兴趣的层的深度图像中的感兴趣的像素设置为绘图目标像素。

因此，在指定层或者低于指定层的相应层中的感兴趣的像素中存在除了不显示的物体之外的物体的像素的情况下，将这些层中的最高层中的像素设置为绘图目标像素。通过这种方式，例如，位于低于指定层的层中的层图像中的相同位置处并且包括在与对应于不显示的物体的区段不同的区段中的像素被用作绘图目标像素，而不是指定层的层图像中的对应于不显示的物体的区段的像素。

另一方面，例如，在指定层或者低于指定层的相应层中的感兴趣的像素中不存在与不显示的物体不同的物体的像素的情况下，将最低层中的感兴趣的像素设置为绘图目标像素。

要注意的是，例如，在指定层或者低于指定层的相应层中的感兴趣的像素中不存在与不显示的物体不同的物体的像素的情况下，绘图目标像素的像素值和深度值可以设置为预定值，或者可以通过预定方法计算。

在步骤S367中，绘图部502确定是否存在未处理的像素。在确定存在未处理的像素的情况下，该过程返回到步骤S361。

此后，重复执行从步骤S361到步骤S367的处理，直到在步骤S367中确定不存在未处理的像素。通过这种方式，针对各个像素，将指定层或者低于指定层的层中的其中一个像素选择为绘图目标像素。

另一方面，在步骤S367中确定不存在未处理的像素的情况下，绘图目标像素选择过程结束。

返回到图32，绘图部502通过使用步骤S305中的绘图目标像素来生成显示图像。绘图部502仅从相应层的纹理图像中提取绘图目标像素，并且以原始顺序布置所提取的像素以生成用于显示的纹理图像。绘图部502进一步仅从相应层的深度图像中提取绘图目标像素，并且以原始顺序布置所提取的像素以生成用于显示的深度图像。绘图部502使用用于显示的纹理图像和深度图像通过与图27中的步骤S202中的前述处理类似的处理来生成显示图像。绘图部502将显示图像提供给显示部405。

此后，该过程转到步骤S307。

另一方面，在步骤S303中确定未发出不显示物体的指令的情况下，该过程转到步骤S306。

在步骤S306中，与图27中的步骤S202中的前述处理类似，通过使用相应层的纹理图像和深度图像来生成显示图像。

此后，该过程转到步骤S307。

在步骤S307中，与图24中的步骤S203中的前述处理类似，显示显示图像。

此后，该过程结束。

图37至39分别描绘了由上述过程实现的不显示预定物体的示例。要注意的是，将相同的参考标记赋予图37至39所描绘的与图23和25中的对应配置相同的配置。

图37至39中的每一个的左部的示意图是从上面看的相应物体之间的位置关系的示意图。图37至39中的每一个的右上部的示意图描绘了在相应物体之间的位置关系是左部的示意图所描绘的状态的状态下的第一层至第三层的纹理图像的示例。图37至39中的每一个的右下部描绘了在不显示车辆332的情况下第一层至第三层的显示图像的示例。

要注意的是，在图37至39中的每一个中的相应层的纹理图像和显示图像以时间序列设置，描绘了车辆332从右斜后方移动到人331的右后方同时改变行进路线的状态的示例。

在图37中的车辆332的位置处，在第一层的纹理图像中在不彼此重叠的情况下绘制人331和车辆332。在第二层的纹理图像中，仅绘制包括在车辆332中并且位于比最短距离阈值TH2更远处的一部。在第三层的纹理图像中，既不绘制人331也不绘制车辆332。因此，可以通过执行前述的显示过程来在第一层和第二层的显示图像中仅实现车辆332的不显示。

在图38中的车辆332的位置处，在第一层的纹理图像中，车辆332的一部在人331后面不可见。在第二层的纹理图像中，绘制整个车辆332。在第三层的纹理图像中，既不绘制人331也不绘制车辆332。因此，可以通过执行前述的显示过程来在第一层和第二层的显示图像中仅实现车辆332的不显示。

在图39中的车辆332的位置处，在第一层的纹理图像中，车辆332在人331后面不可见并且不绘制车辆332。在第二层的纹理图像中，绘制整个车辆332。在第三层的纹理图像中，既不绘制人331也不绘制车辆332。因此，可以通过执行前述的显示过程来在第二层的显示图像中仅实现车辆332的不显示。

通过这种方式，可以在相应层的显示图像(实景内容)中轻松地切换相应物体的显示或不显示，而不需要在成像期间或者图像生成期间进行特殊处理。

要注意的是，显示装置500可以以除了如上面通过示例主要描述的在显示或不显示各个物体的整体之间切换之外的方式改变相应物体的显示模式。换言之，显示装置500可以识别相应物体的位置并绘制在相应物体后面不可见的部，从而可以轻松地改变相应物体的显示模式。例如，显示装置500可以改变各个物体的一部的显示或不显示、移动、旋转、大小上的放大或缩小和修改以及各个物体的色调、颜色、亮度、分辨率、透明度等。

<修改示例>

在下文中将描述上述的根据本公开的实施例的修改示例。

(纹理图像的其它示例)

图40是描绘了纹理图像的其它示例的示意图。

尽管上述纹理图像是一个视点的纹理图像，但是可以通过合成对应于一个视点的左眼的视点和右眼的视点的纹理图像来形成纹理图像。

更具体地，如图40的A所描绘的，例如，纹理图像可以是通过打包左眼的视点的纹理图像601和右眼的视点的纹理图像602形成的打包图像600，两者都对应于一个视点并且设置在横向(水平方向)上。

另外，例如，如图40的B所描绘的，纹理图像可以是通过打包纵向(垂直方向)上的纹理图像601和纹理图像602形成的打包图像620。

如上所述，在通过打包左眼的视点和右眼的视点的图像形成纹理图像的情况下，将通过解码获取的纹理图像分成左眼的视点的纹理图像和右眼的视点的纹理图像。此后，针对各个眼睛生成三维结构。

然后基于对应于由收听者/查看者等指定的视点的左眼的视点、视线方向和视角通过左眼的三维结构来生成左眼的显示图像。另外，基于对应于由收听者/查看者等指定的视点的右眼的视点、视线方向和视角通过右眼的三维结构来生成右眼的显示图像。

在显示部206(405)是能够提供3D显示的类型的情况下，显示部206(405)将左眼的显示图像显示为左眼的图像，并且将右眼的显示图像显示为右眼的图像以提供显示图像的3D显示。另一方面，在显示部206(405)是无法提供3D显示的类型的情况下，显示部206(405)提供左眼的显示图像或右眼的显示图像的2D显示。

(相机布置的修改示例)

图19和20所描绘的成像装置11在第二和第三实施例中的布置仅通过示例呈现，并且可以根据对应于成像目标的物体等改变为任何布置。

例如，成像装置11可以设置为仅在水平方向上围绕包含相应物体的区域的外围，而不在垂直方向上围绕该区域的外围。

可替代地，一个成像装置11可以设置在用于生成层图像的视点的位置处。在这种情况下，可以基于通过在多个不同时间使用一个成像装置11在视线方向上成像而获取的多个纹理图像和深度图像来生成相应层的纹理图像和深度图像。换言之，可以基于通过在预定视线方向上从预定视点进行定点观察而获取的多个纹理图像和深度图像来生成相应层的纹理图像和深度图像。通过这种方式，例如，获取存在作为移动体的物体的状态下和不存在作为移动体的物体的状态下的纹理图像和深度图像，因此可以轻松地生成相应层的纹理图像和深度图像。

(其它修改示例)

例如，可以设置视点和视线方向的多个集合以在第二和第三实施例中针对各个集合生成多个层的层图像。可替代地，可以针对一个视点设置多个视线方向以针对各个视线方向生成多个层的层图像。显示装置400或显示装置500随后可以根据收听者/查看者等对视点、视线方向和层的指定来显示在来自期望视点的视线方向上的显示图像中包括的期望层的显示图像。

而且，例如，在第二和第三实施例中可以消除用于执行两个视点的视点纹理流和视点深度流以及全向纹理流和全向深度流的生成过程和显示过程的配置。

此外，生成装置12(300)可以读取存储在存储部39(305)中的两个视点的视点纹理流和视点深度流以及全向纹理流和全向深度流，并且仅在显示装置200提出请求时将所读取的流传输到显示装置200。该修改也适用于表格的传输。

另外，生成装置300可以读取存储在存储部305中的相应层的层纹理流和层深度流，并且仅在显示装置400(500)提出请求时将所读取的流传输到显示装置400(500)。

而且，生成装置300可以生成图35所描绘的分段表，并且将所生成的分段表传输到显示装置400或500。

此外，例如，生成装置300可以将N个拍摄图像和深度图像或者基于N个拍摄图像和深度图像的三维模型传输到显示装置400(500)，并且显示装置400(500)可以生成相应层的纹理图像和深度图像。

另外，例如，可以在第三实施例中计算在另一物体后面不可见的物体的三维移动速度。

例如，可以通过以时间序列获得区段(物体)在存在与物体相关联的区段的最低层中的坐标和深度值来计算某个物体的三维移动速度。

在本文中将参照图41和42描述车辆332的移动速度的计算的示例。要注意的是，将相同的参考标记赋予图41和42所描绘的与图23至25中的对应配置相同的配置。

图41和42中的每一个的左部的示意图是描绘了从上面看的相应物体之间的位置关系的示意图。图41和42中的每一个的右上部的示意图描绘了在相应物体之间的位置关系是左部的示意图所描绘的状态的状态下的第一层至第三层的纹理图像的示例。图41和42中的每一个的右下部的示意图描绘了第一层至第三层的深度图像的示例。

要注意的是，在图41和42中的每一个中的相应层的纹理图像和深度图像以时间序列设置，描绘了车辆332沿着向右前方倾斜的方向从住宅334的前面移动到人331的后面的状态的示例。

在图41所描绘的状态下，在第二层和第三层的每一个中的纹理图像和深度图像中绘制车辆332。另一方面，在图42所描绘的状态下，车辆332在第三层的纹理图像和深度图像中消失，并且仅绘制在第二层的纹理图像和深度图像中。

例如，在图41所描绘的状态下，假设车辆332的预定点(在下文中称为感兴趣的点)在第三层的纹理图像中的坐标表示为(x₃，y₃)。进一步假设，车辆332的感兴趣的点在第三层的深度图像中的深度值是D₃。另一方面，在图42所描绘的状态下，假设车辆332的感兴趣的点在第二层的纹理图像中的坐标表示为(x₂，y₂)。进一步假设，车辆332的感兴趣的点在第二层的深度图像中的深度值是D₂。另外，假设从图41中状态改变为图42中的状态所需的时间是t。

在这种情况下，通过以下公式(1)来计算车辆332从图41中的状态到图42中的状态的三维移动速度。

[公式1]

可以通过这种方式来计算在人331后面不可见的车辆332的速度。

<应用实例>

(已经应用本公开的计算机的描述)

上述的一系列过程可以由硬件执行，或者可以由软件执行。为了通过软件执行一系列过程，将构成软件的程序安装在计算机中。本文采用的计算机的示例包括合并到专用硬件中的计算机、能够在安装在计算机中的各种程序下执行各种功能的通用个人计算机和其它计算机。

图43是描绘了在程序下执行上述的一系列过程的计算机的硬件的配置示例的框图。

中央处理单元(CPU)801、只读存储器(ROM)802和随机存取存储器(RAM)803在计算机800中经由总线804相互连接。

输入/输出接口805进一步连接至总线804。输入部806、输出部807、存储部808、通信部809和驱动器810连接至输入/输出接口805。

输入部806包括键盘、鼠标、麦克风等。输出部807包括显示器、扬声器等。存储部808包括硬盘、非易失性存储器等。通信部809包括网络接口等。驱动器810驱动可移动介质811，诸如，磁盘、光盘、磁光盘和半导体存储器。

例如，根据如此配置的计算机800，CPU 801通过经由输入/输出接口805和总线804将存储在存储部808中的程序加载到RAM 803中并且执行所加载的程序来执行上述的一系列过程。

例如，由计算机800(CPU 801)执行的程序可以记录在可移动介质811(诸如，封装介质)中，并且以这种形式提供。可替代地，程序可以经由有线或无线传输介质提供，诸如，局域网、互联网和卫星数字广播。

根据计算机800，程序可以通过将可移动介质811附接至驱动器810来经由输入/输出接口805安装在存储部808中。程序也可以由通信部809经由有线或无线传输介质接收，并且安装在存储部808中。可替代地，程序可以预先安装在ROM 802或者存储部808中。

要注意的是，由计算机800执行的程序可以是按照本说明书所描述的顺序以时间序列执行处理的程序或者并行执行或在必要时(诸如，呼叫时)执行处理的程序。

(移动体控制系统的应用示例)

根据本公开的技术适用于各种产品。例如，根据本公开的技术可以实施为安装在任何类型的移动体(诸如，汽车、电动车、混合动力汽车、摩托车、自行车、个人移动、飞机、无人机、船舶、机器人、建筑机械和农业机械(拖拉机))上的装置。

图44是描绘了作为可以应用根据本公开的实施例的技术的移动体控制系统的示例的车辆控制系统7000的示意性配置的示例的框图。车辆控制系统7000包括经由通信网络7010彼此连接的多个电子控制单元。在图44所描绘的示例中，车辆控制系统7000包括驱动系统控制单元7100、主体系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500和集成控制单元7600。例如，将多个控制单元彼此连接的通信网络7010可以是符合任意标准(诸如，控制器局域网(CAN)、本地互联网络(LIN)、局域网(LAN)、FlexRay等)的车载通信网络。

各个控制单元包括：根据各种程序执行算术处理的微计算机；存储由微计算机执行的程序、用于各种操作的参数等的存储部；以及驱动各种控制目标装置的驱动电路。各个控制单元进一步包括：用于经由通信网络7010执行与其它控制单元的通信的网络接口(I/F)；以及用于通过有线通信或无线电通信执行与车辆内外的装置、传感器等的通信的通信I/F。图44所图示的集成控制单元7600的功能配置包括微计算机7610、通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内装置I/F 7660、声音/图像输出部7670、车载网络I/F 7680和存储部7690。其它控制单元类似地包括微计算机、通信I/F、存储部等。

驱动系统控制单元7100根据各种程序控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元7100充当用于生成车辆的驱动力的驱动力生成装置(诸如，内燃机、驱动电机等)、用于将驱动力传输到车轮的驱动力传输机构、用于调整车辆的转向角度的转向机构、用于生成车辆的制动力的制动装置等的控制装置。驱动系统控制单元7100可以具有作为防抱死制动系统(ABS)、电子稳定控制(ESC)等的控制装置的功能。

驱动系统控制单元7100与车辆状态检测部7110连接。例如，车辆状态检测部7110包括检测车身的轴向旋转移动的角速度的陀螺仪传感器、检测车辆的加速度的加速度传感器以及用于检测加速踏板的操作量、制动踏板的操作量、方向盘的转向角度、引擎速度或车轮的转速的传感器等中的至少一个。驱动系统控制单元7100使用从车辆状态检测部7110输入的信号来执行算术处理，并且控制内燃机、驱动电机、电动转向装置、制动装置等。

主体系统控制单元7200根据各种程序控制设置到车身的各种装置的操作。例如，主体系统控制单元7200充当无钥匙进入系统、智能钥匙系统、电动窗装置或者各种灯(诸如，前照灯、倒车灯、制动灯、转向灯、雾灯等)的控制装置。在这种情况下，可以将从移动装置传输的无线电波作为各种开关的钥匙或信号的替代输入到主体系统控制单元7200。主体系统控制单元7200接收这些输入的无线电波或信号，并且控制车辆的门锁装置、电动窗装置、灯等。

电池控制单元7300根据各种程序控制二次电池7310，该二次电池7310是驱动电机的电源。例如，向电池控制单元7300提供来自包括二次电池7310的电池装置的关于电池温度、电池输出电压、电池中剩余的电荷量等的信息。电池控制单元7300使用这些信号来执行算术处理，并且执行用于调节二次电池7310的温度的控制或者控制设置到电池装置等的冷却装置。

车外信息检测单元7400检测关于包括车辆控制系统7000的车辆的外部的信息。例如，车外信息检测单元7400与成像部7410和车外信息检测部7420中的至少一个连接。成像部7410包括飞行时间(ToF)相机、立体相机、单目相机、红外相机和其它相机中的至少一个。例如，车外信息检测部7420包括用于检测当前大气条件或天气条件的环境传感器和用于检测在包括车辆控制系统7000的车辆的外围的另一车辆、障碍物、行人等的外围信息检测传感器中的至少一个。

例如，环境传感器可以是检测雨的雨滴传感器、检测雾的雾传感器、检测阳光程度的阳光传感器和检测降雪的雪传感器中的至少一个。外围信息检测传感器可以是超声传感器、雷达装置和LIDAR装置(光检测和测距装置或者激光成像检测和测距装置)中的至少一个。成像部7410和车外信息检测部7420中的每一个都可以设置为单独的传感器或装置，或者可以设置为集成有多个传感器或装置的装置。

图45描绘了成像部7410和车外信息检测部7420的安装位置的示例。例如，成像部7910、7912、7914、7916和7918设置在车辆7900的前鼻、侧视镜、后保险杠和后门上的至少一个位置处以及车辆内的挡风玻璃的上部的位置处。设置到前鼻的成像部7910和设置到车辆内的挡风玻璃的上部的成像部7918主要获得车辆7900的前面的图像。设置到侧视镜的成像部7912和7914主要获得车辆7900的侧面的图像。设置到后保险杠或后门的成像部7916主要获得车辆7900的后面的图像。设置到车辆内的挡风玻璃的上部的成像部7918主要用于检测前方车辆、行人、障碍物、信号、交通标志、车道等。

顺便提及，图45描绘了相应成像部7910、7912、7914和7916的拍摄范围的示例。成像范围a表示设置到前鼻的成像部7910的成像范围。成像范围b和c分别表示设置到侧视镜的成像部7912和7914的成像范围。成像范围d表示设置到后保险杠或后门的成像部7916的成像范围。例如，可以通过叠加由成像部7910、7912、7914和7916成像的图像数据来获得从上面看的车辆7900的鸟瞰图像。

例如，设置到车辆7900的前面、后面、侧面和角落以及车辆内的挡风玻璃的上部的车外信息检测部7920、7922、7924、7926、7928和7930可以是超声传感器或者雷达装置。例如，设置到车辆7900的前鼻、车辆7900的后保险杠、后门以及车辆内的挡风玻璃的上部的车外信息检测部7920、7926和7930可以是LIDAR装置。这些车外信息检测部7920至7930主要用于检测前方车辆、行人、障碍物等。

返回到图44，将继续描述。车外信息检测单元7400使成像部7410对车辆的外部的图像进行成像，并且接收所成像的图像数据。另外，车外信息检测单元7400从连接至车外信息检测单元7400的车外信息检测部7420接收检测信息。在车外信息检测部7420是超声传感器、雷达装置或者LIDAR装置的情况下，车外信息检测单元7400传输超声波、电磁波等，并且接收所接收到的反射波的信息。基于接收到的信息，车外信息检测单元7400可以执行检测物体(诸如，人、车辆、障碍物、标志、路面上的字符等)的处理或者检测到该物体的距离的处理。车外信息检测单元7400可以基于接收到的信息执行识别降雨、雾、路面条件等的环境识别处理。车外信息检测单元7400可以基于接收到的信息计算到车辆外的物体的距离。

另外，基于接收到的图像数据，车外信息检测单元7400可以执行识别人、车辆、障碍物、标志、路面上的字符等的图像识别处理或者检测到该物体的距离的处理。车外信息检测单元7400可以对接收到的图像数据进行诸如失真校正、对齐等处理，并且组合由多个不同的成像部7410成像的图像数据以生成鸟瞰图像或者全景图像。车外信息检测单元7400可以使用由包括不同成像部件的成像部7410成像的图像数据来执行视点转换处理。

车内信息检测单元7500检测关于车辆的内部的信息。例如，车内信息检测单元7500与检测驾驶员的状态的驾驶员状态检测部7510连接。驾驶员状态检测部7510可以包括对驾驶员进行成像的相机、检测驾驶员的生物信息的生物传感器、收集车辆内的声音的麦克风等。例如，生物传感器设置在座面、方向盘等中，并且检测坐在座位上的乘员或者握着方向盘的驾驶员的生物信息。基于从驾驶员状态检测部7510输入的检测信息，车内信息检测单元7500可以计算驾驶员的疲劳程度或驾驶员的集中程度，或者可以确定驾驶员是否在打瞌睡。车内信息检测单元7500可以对通过收集声音获得的音频信号进行诸如噪声消除处理等处理。

集成控制单元7600根据各种程序控制车辆控制系统7000内的一般操作。集成控制单元7600与输入部7800连接。输入部7800由能够由乘员进行输入操作的装置实施，诸如，例如，触摸面板、按钮、麦克风、开关、控制杆等。可以向集成控制单元7600提供通过语音识别通过麦克风输入的语音而获得的数据。例如，输入部7800可以是使用红外线或其它无线电波的遥控装置或者支持车辆控制系统7000的操作的外部连接装置，诸如，移动电话、个人数字助理(PDA)等。例如，输入部7800可以是相机。在这种情况下，乘员可以通过手势输入信息。可替代地，可以输入通过检测乘员穿戴的可穿戴装置的移动而获得的数据。进一步地，例如，输入部7800可以包括输入控制电路等，该输入控制电路等基于由乘员等使用上述输入部7800输入的信息生成输入信号，并且将所生成的输入信号输出到集成控制单元7600。乘员等通过操作输入部7800来向车辆控制系统7000输入各种数据或者给出用于处理操作的指令。

存储部7690可以包括存储由微计算机执行的各种程序的只读存储器(ROM)和存储各种参数、操作结果、传感器值等的随机存取存储器(RAM)。另外，存储部7690可以由磁性存储装置(诸如，硬盘驱动器(HDD)等)、半导体存储装置、光学存储装置、磁光存储装置等实施。

通用通信I/F 7620是广泛使用的通信I/F，该通信I/F调解与存在于外部环境7750中的各种设备的通信。通用通信I/F 7620可以实施蜂窝通信协议(诸如，全球移动通信系统(GSM)、全球互通微波存取(WiMAX)、长期演进(LTE)、高级LTE(LTE-A)等)或者另一无线通信协议(诸如，无线LAN(也称为无线保真(Wi-Fi))、蓝牙等)。例如，通用通信I/F 7620可以经由基站或接入点连接至存在于外部网络(例如，互联网、云网络或特定于公司的网络)上的设备(例如，应用服务器或控制服务器)。另外，例如，通用通信I/F 7620可以使用对等(P2P)技术来连接至存在于车辆附近的终端(例如，该终端是驾驶员、行人或商店的终端或者机器类通信(MTC)终端)。

专用通信I/F 7630是支持开发用于车辆的通信协议的通信I/F。专用通信I/F7630可以实施标准协议，例如，诸如，车辆环境中的无线接入(WAVE)(其是作为较低层的电气电子工程师协会(IEEE)802.11p和作为较高层的IEEE 1609的组合)、专用短程通信(DSRC)或者蜂窝通信协议。专用通信I/F 7630通常将V2X通信执行为包括车辆与车辆(车辆到车辆)之间的通信、道路与车辆(车辆到基础设施)之间的通信、车辆与住宅(车辆到住宅)之间的通信以及行人与车辆(车辆到行人)之间的通信中的一种或多种的概念。

例如，定位部7640通过接收来自GNSS卫星的全球导航卫星系统(GNSS)信号(例如，来自全球定位系统(GPS)卫星的GPS信号)来执行定位，并且生成包括车辆的纬度、经度和高度的位置信息。顺便提及，定位部7640可以通过与无线接入点交换信号来识别当前位置，或者可以从具有定位功能的终端(诸如，移动电话、个人手机系统(PHS)或智能电话)获得位置信息。

例如，信标接收部7650接收从安装在道路等上的无线电台传输的无线电波或电磁波，从而获得关于当前位置、拥塞、封闭道路、必要时间等的信息。顺便提及，信标接收部7650的功能可以包括在上述的专用通信I/F 7630中。

车内装置I/F 7660是调解微计算机7610与存在于车辆内的各种车内装置7760之间的连接的通信接口。车内装置I/F 7660可以使用无线通信协议(诸如，无线LAN、蓝牙、近场通信(NFC)或者无线通用串行总线(WUSB))来建立无线连接。另外，车内装置I/F 7660可以经由未在附图中描绘的连接终端(如果必要的话，电缆)通过通用串行总线(USB)、高清多媒体接口(HDMI)、移动高清链接(MHL)等建立有线连接。例如，车内装置7760可以包括乘员拥有的移动装置和可穿戴装置以及携带到车辆中或附接至车辆的信息装置中的至少一个。车内装置7760还可以包括搜索到任意目的地的路径的导航装置。车内装置I/F 7660与这些车内装置7760交换控制信号或数据信号。

车载网络I/F 7680是调解微计算机7610与通信网络7010之间的通信的接口。车载网络I/F 7680遵照由通信网络7010支持的预定协议传输和接收信号等。

集成控制单元7600的微计算机7610基于经由通用通信I/F 7620、专用通信I/F7630、定位部7640、信标接收部7650、车内装置I/F 7660和车载网络I/F 7680中的至少一个获得的信息根据各种程序来控制车辆控制系统7000。例如，微计算机7610可以基于所获得的关于车辆的内部和外部的信息计算驱动力生成装置、转向机构或者制动装置的控制目标值，并且将控制命令输出到驱动系统控制单元7100。例如，微计算机7610可以执行旨在实施高级驾驶员辅助系统(ADAS)的功能的协同控制，该功能包括车辆的避碰或减震、基于跟车距离的跟车驾驶、车速保持驾驶、车辆碰撞警告、车辆偏离车道的警告等。另外，微计算机7610可以通过基于所获得的关于车辆的周围环境的信息控制驱动力生成装置、转向机构、制动装置等来执行用于自动驾驶的协同控制，这使车辆在不依靠驾驶员的操作等的情况下自动行进。

微计算机7610可以基于经由通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车内装置I/F 7660和车载网络I/F 7680中的至少一个获得的信息来生成车辆与物体(诸如，周围结构、人等)之间的三维距离信息，并且生成本地地图信息，该本地地图信息包括关于车辆的当前位置的周围环境的信息。另外，微计算机7610可以基于所获得的信息来预测诸如车辆碰撞、行人等接近、进入封闭道路等危险，并且生成警告信号。例如，警告信号可以是用于产生警告声音或者点亮警告灯的信号。

声音/图像输出部7670将声音和图像中的至少一个的输出信号传输到输出装置，该输出装置能够在视觉或听觉上向车辆的乘员或车辆的外部通知信息。在图44的示例中，音频扬声器7710、显示部7720和仪表板7730被图示为输出装置。例如，显示部7720可以包括车载显示器和平视显示器中的至少一个。显示部7720可以具有增强现实(AR)显示功能。输出装置可以不同于这些装置，而可以是另一装置，诸如，耳机、可穿戴装置(诸如，由乘员等穿戴的眼镜类显示器)、投影仪、灯等。在输出装置是显示装置的情况下，显示装置以各种形式(诸如，文本、图像、表格、图形等)在视觉上显示通过由微计算机7610执行的各种处理获得的结果或者从另一控制单元接收到的信息。另外，在输出装置是音频输出装置的情况下，音频输出装置将由复制的音频数据或声音数据等组成的音频信号转换为模拟信号，并且在听觉上输出该模拟信号。

顺便提及，在图44所描绘的示例中经由通信网络7010彼此连接的至少两个控制单元可以集成到一个控制单元中。可替代地，各个单独的控制单元可以包括多个控制单元。进一步地，车辆控制系统7000可以包括未在附图中描绘的另一控制单元。另外，由上面的描述中的其中一个控制单元执行的部或全部功能可以指派给另一控制单元。即，预定算术处理可以由任一控制单元执行，只要经由通信网络7010传输和接收信息。同样地，连接至其中一个控制单元的传感器或装置可以连接至另一控制单元，并且多个控制单元可以经由通信网络7010互相传输和接收检测信息。

要注意的是，参照图1至42描述的用于执行根据该实施例的生成装置12(300)和显示装置200(400、500)的相应功能的计算机程序可以实施在控制单元等中的任一个中。另外，可以提供存储这些计算机程序的计算机可读记录介质。例如，该记录介质可以包括磁盘、光盘、磁光盘、闪速存储器等。而且，例如，上述计算机程序可以经由网络分布，而不是以记录介质的形式提供。

参照图1至42描述的根据该实施例的生成装置12(300)和显示装置200(400、500)可以应用于上述的车辆控制系统7000。在这种情况下，例如，生成装置12(300)和显示装置200(400、500)集成到一个主体中，并且对应于微计算机7610、存储部7690和显示部7720。另外，成像装置11对应于成像部7410。在这种情况下，例如，车辆控制系统7000可以检测在前方物体后面不可见的另一物体，并且通过使用层结构的纹理图像和深度图像检测相应物体的移动速度。

而且，参照图1至42描述的生成装置12(300)和显示装置200(400、500)的组成元件的至少一部可以实施在图44所描绘的车辆控制系统7000的模块(例如，包括一个裸片的集成电路模块)中。可替代地，参照图1至42描述的生成装置12(300)和显示装置200(400、500)可以由图44所描绘的车辆控制系统7000的多个控制单元实施。

要注意的是，本说明书所描述的效果仅通过示例呈现。要产生的效果并不限于这些效果，而可以包括其它效果。

另外，根据本公开的实施例并不限于本文描述的实施例，而可以在不脱离本公开的主题的情况下包括各种修改。

例如，本公开可以采用云计算的配置，其中，多个装置经由网络共享和协同处理一个功能。

而且，参照本文描述的流程图描述的相应步骤可以由一个装置执行，或者可以由多个装置共享和执行。

此外，在一个步骤中包括多个过程的情况下，包含在一个步骤中的多个过程可以由一个装置执行，或者可以由多个装置共享和执行。

要注意的是，本公开可以具有以下配置。

(1)

一种图像处理装置，该图像处理装置包括：

图像生成部，该图像生成部配置为基于区段信息改变显示图像内的各个物体的显示模式，区段信息指示各个物体所在的区段的位置，区段的位置是在多个层图像中的各个层图像中的位置，多个层图像是基于多个拍摄图像生成的图像并且是根据图像与预定视点的距离被分类为多个层的图像。

(2)

根据上述(1)的图像处理装置，其中，区段信息指示各个区段在层方向和像素方向上的位置。

(3)

根据上述(2)的图像处理装置，其中

区段信息指示各个层图像中的各个像素所属的区段，以及

被包括在不同层图像中并且对应于相同物体的区段彼此相关联。

(4)

根据上述(1)至(3)中任一项的图像处理装置，该图像处理装置进一步包括：

区段信息生成部，该区段信息生成部配置为通过针对各个物体将各个层图像划分成多个区段并且将被包括在不同层图像中并对应于相同物体的区段彼此相关联来生成区段信息。

(5)

根据上述(1)至(4)中任一项的图像处理装置，其中，图像生成部通过使用不同于第一区段的第二区段的像素，而非对应于被设置为在第一层的层图像中不显示的物体的第一区段的像素，来生成显示图像，第二区段的像素是位于低于第一层的第二层的层图像中的相同位置处的像素。

(6)

根据上述(1)至(5)中任一项的图像处理装置，其中，多个拍摄图像包括从不同视点拍摄的多个图像，不同视点被设置为围绕包含各个物体的区域的外围的至少一部。

(7)

根据上述(6)的图像处理装置，其中，基于三维模型生成多个层图像，该三维模型是基于从不同视点拍摄的多个图像通过三维重构生成的。

(8)

根据上述(1)至(5)中任一项的图像处理装置，其中，多个拍摄图像包括在不同时间从视点拍摄的多个图像。

(9)

根据上述(1)至(8)中任一项的图像处理装置，其中，各个层图像包括物体，该物体位于与预定视线方向上的视点相距针对各个层图像设置的预定阈值或长于预定阈值的距离处。

(10)

根据上述(1)至(9)中任一项的图像处理装置，其中，各个层图像包括纹理图像和深度图像。

(11)

一种图像处理方法，该图像处理方法包括：

图像生成步骤，其中，图像处理装置基于区段信息改变显示图像内的各个物体的显示模式，区段信息指示各个物体所在的区段的位置，区段的位置是在多个层图像中的各个层图像中的位置，多个层图像是基于多个拍摄图像生成的图像并且是根据图像与预定视点的距离被分类为多个层的图像。

[参考标记列表]

11-1至11-N：成像装置

21-1至21-N：图像拍摄相机

22-1至22-N：深度图像相机

300:生成装置

301:重构部

302:视点控制部

303:绘图部

500:显示装置

501:区段信息生成部

502:绘图部。

Claims (11)

1.一种图像处理装置，所述图像处理装置包括：

图像生成部，所述图像生成部配置为基于区段信息改变显示图像内的各个物体的显示模式，所述区段信息指示各个所述物体所在的区段的位置，所述区段的所述位置是在多个层图像中的各个层图像中的位置，所述多个层图像是基于多个拍摄图像生成的图像并且是根据所述图像与预定视点的距离被分类为多个层的图像。

2.根据权利要求1所述的图像处理装置，其中，所述区段信息指示各个所述区段在层方向和像素方向上的位置。

3.根据权利要求2所述的图像处理装置，其中

所述区段信息指示各个所述层图像中的各个像素所属的所述区段，以及

被包括在所述不同层图像中并且对应于所述相同物体的所述区段彼此相关联。

4.根据权利要求1所述的图像处理装置，所述图像处理装置进一步包括：

区段信息生成部，所述区段信息生成部配置为通过针对各个所述物体将各个所述层图像划分成多个区段并且将被包括在所述不同层图像中并对应于所述相同物体的所述区段彼此相关联来生成所述区段信息。

5.根据权利要求1所述的图像处理装置，其中，所述图像生成部通过使用不同于第一区段的第二区段的像素，而非对应于被设置为在第一层的所述层图像中不显示的所述物体的所述第一区段的像素，来生成所述显示图像，所述第二区段的所述像素是位于低于所述第一层的第二层的所述层图像中的相同位置处的像素。

6.根据权利要求1所述的图像处理装置，其中，所述多个拍摄图像包括从不同视点拍摄的多个图像，所述不同视点被设置为围绕包含各个所述物体的区域的外围的至少一部。

7.根据权利要求6所述的图像处理装置，其中，基于三维模型生成所述多个层图像，所述三维模型是基于从所述不同视点拍摄的所述多个图像通过三维重构生成的。

8.根据权利要求1所述的图像处理装置，其中，所述多个拍摄图像包括在不同时间从所述视点拍摄的多个图像。

9.根据权利要求1所述的图像处理装置，其中，各个所述层图像包括物体，所述物体位于与预定视线方向上的所述视点相距针对各个所述层图像设置的预定阈值或长于所述预定阈值的距离处。

10.根据权利要求1所述的图像处理装置，其中，各个所述层图像包括纹理图像和深度图像。

11.一种图像处理方法，所述图像处理方法包括：

图像生成步骤，其中，图像处理装置基于区段信息改变显示图像内的各个物体的显示模式，所述区段信息指示各个所述物体所在的区段的位置，所述区段的所述位置是在多个层图像中的各个层图像中的位置，所述多个层图像是基于多个拍摄图像生成的图像并且是根据所述图像与预定视点的距离被分类为多个层的图像。