CN109844813B - 图像处理装置和图像处理方法 - Google Patents

Abstract

本公开内容涉及能够仅生成前景的3D模型的图像处理装置和图像处理方法。重构单元基于多个视点的深度图像和多个视点的前景图像来生成前景的3D模型。本公开内容可以应用于例如解码装置，该解码装置用于对3D模型的多个视点的深度相关图像与彩色图像的编码流进行解码，并且基于所得到的多个视点的深度相关图像和彩色图像、以及包括每个视点的虚拟摄像装置的内部参数和外部参数的虚拟视点信息来生成前景的3D模型。

Description

图像处理装置和图像处理方法

技术领域

本公开内容涉及图像处理装置和图像处理方法，更具体地，涉及能够仅生成前景的3D模型的图像处理装置和图像处理方法。

背景技术

存在一种用于根据多个摄像装置捕获的彩色图像和深度图像来生成对象的3D模型的技术(例如，参见非专利文献1)。

引用列表

非专利文献

非专利文献1：Saied Moezzi,Li-Cheng Tai,and Philippe Gerard,“VirtualView Generation for 3D Digital Video”,University of California,San Diego

发明内容

本发明要解决的问题

然而，尚未想出仅生成前景的3D模型的任何方法。

鉴于这样的状况而做出了本公开内容，并且本公开内容使得能够仅生成前景的3D模型。

针对问题的解决方案

本公开内容的第一方面的一种图像处理装置是包括3D模型生成单元的图像处理装置，该3D模型生成单元基于多个视点的深度图像和多个视点的前景图像来生成前景的3D模型。

本公开内容的第一方面的图像处理方法与本公开内容的第一方面的图像处理装置兼容。

在本公开内容的第一方面，基于多个视点的深度图像和多个视点的前景图像来生成前景的3D模型。

本公开内容的第二方面的一种图像处理装置是包括传送单元的图像处理装置，该传送单元传送多个视点的深度图像以及关于多个视点的前景的前景信息。

本公开内容的第二方面的图像处理方法与本公开内容的第二方面的图像处理装置兼容。

在本公开内容的第二方面，传送多个视点的深度图像以及关于多个视点的前景的前景信息。

本公开内容的第三方面的一种图像处理装置是包括3D模型生成单元的图像处理装置，该3D模型生成单元基于多个视点的前景深度图像来生成前景的3D模型。

本公开内容的第三方面的图像处理方法与本公开内容的第三方面的图像处理装置兼容。

在本公开内容的第三方面，基于多个视点的前景深度图像来生成前景的3D模型。

注意，第一方面至第三方面的图像处理装置还可以由执行程序的计算机构成。

此外，为了获得第一方面至第三方面的图像处理装置，可以经由传输介质传送和提供要由计算机执行的程序，或者可以提供记录介质上记录的程序。

本发明的效果

根据本公开内容的第一方面和第三方面，可以仅生成前景的3D模型。

此外，根据本公开内容的第二方面，可以传送使得能够仅生成前景的3D模型的信息。

注意，本技术的效果不限于上述效果，并且可以包括本公开内容中描述的任何效果。

附图说明

图1是示出应用了本公开内容的图像处理系统的第一实施方式的示例配置的框图。

图2是示出距离Z与像素值p之间的关系的曲线图。

图3是用于说明图1所示的编码装置要执行的编码处理的流程图。

图4是示出图1中所示的重构单元的示例配置的框图。

图5是用于说明利用图4所示的重构单元生成前景的3D模型的方法的图。

图6是用于说明利用图4所示的重构单元生成前景的3D模型的方法的图。

图7是用于说明利用图4所示的重构单元生成前景的3D模型的方法的图。

图8是用于说明利用图4所示的重构单元生成前景的3D模型的方法的图。

图9是用于说明利用图4所示的重构单元生成前景的3D模型的方法的图。

图10是用于说明图1所示的解码装置执行的解码处理的流程图。

图11是示出根据应用了本公开内容的图像处理系统的第二实施方式的重构单元的配置的框图。

图12是示出根据应用了本公开内容的图像处理系统的第三实施方式的重构单元的配置的框图。

图13是示出凸壳的示例的图。

图14是示出根据应用了本公开内容的图像处理系统的第四实施方式的重构单元的示例配置的框图。

图15是示出前景的示例深度图像的图。

图16是用于说明生成多边形网格(polygon mesh)的方法的图。

图17是示出多边形网格的示例的图。

图18是用于说明叠加各个虚拟摄像装置的视点的多边形网格的方法的图。

图19是用于说明根据第四实施方式的解码装置执行的解码处理的流程图。

图20是示出根据应用了本公开内容的图像处理系统的第五实施方式的重构单元的配置的框图。

图21是示出根据应用了本公开内容的图像处理系统的第六实施方式的重构单元的配置的框图。

图22是示出计算机的硬件的示例配置的框图。

图23是示意性地示出车辆控制系统的示例配置的框图。

图24是示出外部信息检测器和成像单元的安装位置的示例的说明图。

具体实施方式

以下是对用于实现本公开内容的模式(在下文中称为实施方式)的描述。注意，将按以下顺序进行说明。

1.第一实施方式：图像处理系统(图1至图10)

2.第二实施方式：图像处理系统(图11)

3.第三实施方式：图像处理系统(图12和图13)

4.第四实施方式：图像处理系统(图14至图19)

5.第五实施方式：图像处理系统(图20)

6.第六实施方式：图像处理系统(图21)

7.第七实施方式：计算机(图22)

8.应用示例(图23和图24)

<第一实施方式>

(图像处理系统的示例配置)

图1是示出应用了本公开内容的图像处理系统的第一实施方式的示例配置的框图。

图1中的图像处理系统10包括成像装置11、编码装置12(图像处理装置)、解码装置13(图像处理装置)和显示装置14。图像处理系统10使用成像装置11获取的彩色图像和深度图像来生成并显示显示视点的彩色图像。

具体地，图像处理系统10的成像装置11例如包括多视图摄像装置、测距仪和图像处理单元。成像装置11的多视图摄像装置由多个摄像装置构成。各个摄像装置捕获对象的彩色图像的运动图像，所述运动图像具有至少一个共同部分。例如，测距仪被设置在每个摄像装置中，并且生成视点与该摄像装置相同的深度图像的运动图像。

成像装置11的图像处理单元通过针对每帧而使用各个摄像装置的视点的彩色图像和深度图像的运动图像以及各个摄像装置的外部参数和内部参数计算可视外壳等，来生成对象的3D模型。图像处理单元生成对象的3D数据，该3D数据是指示构成3D模型的各个多边形网格的顶点的三维位置以及顶点之间的连接的形状信息(连接性)、以及关于多边形网格的颜色信息。

用于在图像处理单元处生成3D数据的方法可以是例如非专利文献1等中描述的方法。注意，3D数据可以包含形状信息和各个摄像装置的视点的彩色图像。图像处理单元将3D数据提供给编码装置12。

编码装置12包括转换单元21、生成单元22、编码单元23、存储单元24和传送单元25。

编码装置12的转换单元21确定要生成的3D模型的彩色图像和深度图像的多个视点。此处，假设要生成的彩色图像和深度图像的视点相同。然而，彩色图像和深度图像的视点和视点的数量可以不同。

转换单元21生成已确定的多个视点的虚拟摄像装置的外部参数和内部参数。基于各个虚拟摄像装置的外部参数和内部参数，转换单元21根据从成像装置11逐帧地提供的3D数据来生成每个虚拟摄像装置获取的每帧的彩色图像以及与彩色图像对应的深度图像。

为了根据3D数据生成彩色图像和深度图像而采用的方法可以例如是由MasayukiTanimoto在以下中公开的方法等：“Realizing the Ultimate Visual Communication”,IEICE Technical Report,CS,Communication Systems vol.110(no.323),pp.73-78,11-25-2010。

例如，深度图像可以是具有通过将在每个像素处视点与对象之间在深度方向上的距离Z进行量化而获得的像素值的图像。在这种情况下，例如，深度图像中的每个像素的像素值p由以下表达式(1)表示。

[表达式1]

p＝(Z-Zmin)/(Zmax-Zmin)x((1<<bitdepth)-1)...(1)

注意，Zmin和Zmax分别表示距离Z的最小值和最大值。此外，“bitdepth”表示像素值p的位宽。根据表达式(1)，像素值p是通过将在从最小值Zmin到最大值Zmax的范围内的距离Z量化为具有位宽“bitdepth”的位而获得的值。像素值p越大，距离Z就越长(对象距视点就越远)。像素值p越小，距离Z就越短(对象距视点就越近)。最小值Zmin和最大值Zmax可以随每个视点而变化，或者对于所有视点可以是相同的。

此外，深度图像可以是具有通过将每个像素处的距离Z的倒数1/Z进行量化而获得的像素值的图像。在这种情况下，深度图像中的每个像素的像素值p由以下表达式(2)表示。

[表达式2]

p＝(1/Z-1/Zmax)/(1/Zmin-1/Zmax)x((1<<bitdepth)-1)...(2)

根据表达式(2)，像素值p是通过将在从最小值1/Zmax到最大值1/Zmin的范围内的倒数1/Z量化为具有位宽“bitdepth”的位而获得的值。像素值p越小，距离Z就越长(对象距视点就越远)。像素值p越大，距离Z就越短(对象距视点就越近)。

注意，用于确定像素值p的计算公式可以不同于表达式(1)和(2)。用于确定像素值p的计算公式可以随每个视点而变化，或者对于所有视点可以是相同的。

转换单元21将每个虚拟摄像装置的彩色图像提供给生成单元22和编码单元23，并且将深度图像提供给编码单元23。转换单元21还向存储单元24提供各个虚拟摄像装置的外部参数和内部参数作为虚拟视点信息。

对于每个虚拟摄像装置，生成单元22根据从转换单元21提供的彩色图像生成示出前景轮廓的轮廓图像作为与虚拟摄像装置的视点的前景有关的前景信息。具体地，对于每个虚拟摄像装置，生成单元22从由转换单元21提供的整个3D模型的彩色图像中提取背景的彩色图像。然后，生成单元22针对每个虚拟摄像装置而生成整个3D模型的彩色图像与背景的彩色图像之间的差分作为轮廓图像。结果，轮廓图像变为仅在前景区域中为白色(像素值为255)而在背景区域中为黑色(像素值为0)的图像，其中在该前景区域中投影每个虚拟摄像装置的整个3D模型的彩色图像中的前景的3D模型。

注意，轮廓图像的前景区域的像素值可以是向与前景区域对应的前景的3D模型分配的ID。生成单元22生成将从转换单元21提供的深度图像作为亮度分量并将轮廓图像作为颜色分量的YUV 420的深度相关图像，并且将深度相关图像提供给编码单元23。

编码单元23对从转换单元21提供的每个虚拟摄像装置的彩色图像以及从生成单元22提供的每个虚拟摄像装置的深度相关图像进行编码。本文中采用的编码方法可以是高级视频编码(AVC)、高效视频编码(HEVC)等。编码单元23将获得的作为编码结果的编码流提供给存储单元24。

存储单元24存储从转换单元21提供的虚拟视点信息以及从编码单元23提供的编码流。

传送单元25从存储单元24读取虚拟视点信息作为元数据，并且将元数据传送到解码装置13。传送单元25还读取编码流，并且将编码流传送到解码装置13。

如上所述，编码装置12将深度图像和轮廓图像编码为一个深度相关图像，并且将该深度相关图像传送到解码装置13。因此，与在深度图像和轮廓图像被编码为单独的图像并且作为单独的图像被传送到解码装置13的情况下相比，可以使得编码装置12与解码装置13之间的网络带宽更小

解码装置13包括接收单元31、解码单元32、重构单元33和呈现单元34。显示视点的虚拟摄像装置的外部参数和内部参数从观看显示装置14的用户输入到解码装置13，并且作为显示视点信息提供给呈现单元34。

解码装置13的接收单元31接收从编码装置12的传送单元25传送的虚拟视点信息和编码流。接收单元31将虚拟视点信息提供给重构单元33，并且将编码流提供给解码单元32。

解码单元32通过与编码单元23的编码方法兼容的方法对从接收单元31提供的编码流进行解码。解码单元32将得到的每个虚拟摄像装置的彩色图像和深度相关图像提供给重构单元33。

基于从接收单元31提供的虚拟视点信息以及从解码单元32提供的彩色图像和深度相关图像，重构单元33(3D模型生成单元)仅重构(生成)前景的3D模型的3D数据。

注意，要用于重构前景的3D数据的深度相关图像的视点的数量可以是等于或小于从编码装置12传送的深度相关图像的视点的数量的任何数量。与要用于重构前景的3D模型的深度相关图像对应的视点的数量越大，前景的3D模型的准确度就越高。可以根据解码装置13的能力以及编码装置12与解码装置13之间的网络带宽的状态来确定要用于重构前景的3D数据的深度相关图像。重构单元33将前景的3D数据提供给呈现单元34。

与转换单元21类似，基于显示视点信息，呈现单元34根据从重构单元33提供的3D数据生成显示视点的前景彩色图像作为显示图像，并且将前景显示图像提供给显示装置14。

显示装置14由二维头戴式显示器(HMD)、二维监视器等构成。显示装置14基于从重构单元33提供的显示图像而二维地显示显示图像。

注意，显示装置14可以由三维头戴式显示器、三维监视器等构成。在这种情况下，呈现单元34如转换单元21一样基于显示视点信息、根据3D数据生成显示视点的前景深度图像，并且将前景深度图像提供给显示装置14。显示装置14基于从呈现单元34提供的显示图像和深度图像而三维地显示显示图像。

此外，在图1所示的示例中，通过计算可视外壳等来生成3D模型，但是可以利用点云来生成3D模型。在这种情况下，3D数据包括关于每个点云的位置和颜色信息、或者每个点云的位置和每个摄像装置的视点的彩色图像。

如上所述，在图像处理系统10中，编码装置12通过将3D数据转换成多个视点的虚拟摄像装置的彩色图像和深度图像来执行编码。因此，此处可以采用的编码方法可以是高度压缩的二维运动图像编码方法，诸如AVC或HEVC。结果，与在按原样传送3D数据的情况下相比，可以以更低的比特率传送表示3D模型的信息。

(距离Z与像素值p之间的关系)

图2是示出根据表达式(1)和表达式(2)获得的距离Z与像素值p之间的关系的曲线图。

在图2的曲线图中，横坐标轴表示像素值p，纵坐标轴表示距离Z。此外，在图2所示的示例中，最小值Zmin是1000mm，最大值Zmax是10000mm，以及位宽“bitdepth”是5位。

在这种情况下，根据表达式(1)，1000mm至10000mm的距离Z的范围被划分为32个相等的部分，并且不同的像素值p被分配给所划分的距离Z的范围的各个部分，如图2中的虚线所示。因此，与每个像素值p对应的距离Z的范围是相同的。换言之，量化步长是恒定的。

另一方面，根据表达式(2)，为从1/10000mm到1/1000mm的、距离Z的倒数1/Z的范围被划分为32个相等的部分，并且不同的像素值p被分配给所划分的倒数1/Z的范围的各个部分，如图2中的实线所示。因此，像素值p越小，与该值对应的距离Z的范围就越宽。像素值p越大，与该值对应的距离Z的范围就越窄。换言之，在对象距视点更远的情况下，像素值p的量化步长更大。在对象距视点更近的情况下，像素值p的量化步长更小。由于当对象更靠近视点时距离Z的误差对3D模型的精度影响更大，因此可以通过根据表达式(2)确定像素值来提高3D模型的精度。

注意，在下面的描述中，除非另有说明，否则根据表达式(1)来确定深度图像的像素值。

(编码装置的编码处理的描述)

图3是用于说明图1所示的编码装置12执行的编码处理的流程图。例如，当从成像装置11逐帧地提供3D数据时，开始该编码处理。

在图3的步骤S11中，编码装置12的转换单元21确定要生成的3D模型的彩色图像和深度图像的多个视点。

在步骤S12中，转换单元21生成所确定的多个视点的虚拟摄像装置的外部参数和内部参数作为虚拟视点信息，并且将虚拟视点信息提供给存储单元24。

在步骤S13中，基于虚拟视点信息，转换单元21根据从成像装置11逐帧地提供的3D数据生成各个虚拟摄像装置的视点的彩色图像和深度图像。转换单元21将各个虚拟摄像装置的视点的彩色图像提供给生成单元22和编码单元23，并且将深度图像提供给生成单元22。

在步骤S14中，生成单元22针对各个虚拟摄像装置、根据从转换单元21提供的彩色图像生成轮廓图像。

在步骤S15中，生成单元22针对各个虚拟摄像装置、使用从转换单元21提供的深度图像作为亮度分量并使用轮廓图像作为颜色分量来生成深度相关图像。然后，生成单元22将深度相关图像提供给编码单元23。

在步骤S16中，编码单元23对从转换单元21提供的每个虚拟摄像装置的彩色图像以及从生成单元22提供的每个虚拟摄像装置的深度相关图像进行编码。编码单元23将作为编码结果而获得的编码流提供给存储单元24。

在步骤S17中，存储单元24存储从转换单元21提供的虚拟视点信息以及从编码单元23提供的编码流。

在步骤S18中，传送单元25读取存储单元24中存储的虚拟视点信息和编码流，并且将虚拟视点信息和编码流传送到解码装置13。

(重构单元的示例配置)

图4是示出图1中所示的重构单元33的示例配置的框图。

图4中的重构单元33包括可视外壳生成单元101、校正单元102、网格生成单元103和3D数据生成单元104。

重构单元33的可视外壳生成单元101基于从图1中的接收单元31提供的虚拟视点信息以及作为从解码单元32提供的每个视点的深度相关图像的颜色分量的轮廓图像，生成可视外壳。可视外壳是针对每个摄像装置而由多个摄像装置的光学中心和摄像装置捕获的对象的轮廓形成的锥体的交叉空间。可视外壳生成单元101将所生成的可视外壳提供给校正单元102。

校正单元102基于作为从解码单元32提供的各个视点的深度相关图像的亮度分量的深度图像来校正从可视外壳生成单元101提供的可视外壳。通过这样做，校正单元102生成前景的3D模型。校正单元102将前景的3D模型提供给网格生成单元103。

网格生成单元103将前景的3D模型(体素)转换成一个或更多个多边形网格。网格生成单元103将与前景的3D模型的各个多边形网格有关的形状信息提供给3D数据生成单元104。

基于从接收单元31提供的虚拟视点信息以及从解码单元32提供的各个视点的彩色图像，3D数据生成单元104生成关于与从网格生成单元103提供的各条形状信息对应的多边形网格的颜色信息。3D数据生成单元104将关于各个多边形网格的形状信息和颜色信息作为前景的3D模型的3D数据提供给图1中的呈现单元34。

(生成前景的3D模型的方法的描述)

图5至图9是用于说明利用图4所示的重构单元33生成前景的3D模型的方法的图。

在图5至图9所示的示例中，前景对象121的形状是三角柱。图5至图9也是从虚拟摄像装置上方看到的对象121的视图。

此外，在图5至图9所示的示例中，虚拟摄像装置的视点是被布置成围绕对象121的总共四个视点A至D，如图5所示。此外，视点A的画面(投影平面)131位于视点A周围的视角141内。与视点A的画面131一样，视点B至D的画面132至134也分别位于视角142、视角143和视角144内。

在这种情况下，图5中的视点A至D的轮廓图像是图6中所示的轮廓图像151至154。因此，可视外壳生成单元101基于关于视点A至D的虚拟视点信息以及轮廓图像151至154来生成图7中所示的可视外壳170。

同时，图5中的视点A至D的深度图像是图8中所示的深度图像191至194。因此，如图9的A所示，校正单元102首先基于深度图像191校正可视外壳生成单元101生成的可视外壳170。通过这样做，校正单元102生成可视外壳201。具体地，校正单元102从深度图像191识别到，要生成的前景的3D模型的整个视点A侧表面与视点A之间的在深度方向上的距离Z是恒定的。然而，可视外壳170的整个视点A侧表面与视点A之间的在深度方向上的距离Z不是恒定的。因此，校正单元102删除可视外壳170的视点A侧表面的凸起部分170A，使得距离Z变得恒定。通过这样做，校正单元102生成可视外壳201。

然后，校正单元102基于深度图像192来校正可视外壳201，并且生成可视外壳202，如图9的B所示。具体地，校正单元102从深度图像192识别到，要生成的前景的3D模型的视点B侧表面与视点B之间的在深度方向上的距离Z从视点B来看在朝向右侧的方向上增大。然而，可视外壳202的视点B侧表面与视点B之间的在深度方向上的距离Z从视点B来看朝向右侧增大，但是变化不显著。因此，校正单元102删除可视外壳201的视点B侧表面的凸起部分201A，使得距离Z从视点B来看在朝向右侧的方向上增大。通过这样做，校正单元102生成可视外壳202。

然后，校正单元102基于深度图像193来校正可视外壳202，并且生成可视外壳203，如图9的C所示。具体地，校正单元102从深度图像193识别到，要生成的前景的3D模型的视点C侧表面与视点C之间的在深度方向上的距离Z从视点C来看、相对于预定位置在朝向左侧或右侧的方向上增大。

在可视外壳202的视点C侧表面上的从视点C来看的预定位置的左侧，在深度方向上的距视点C的距离Z在朝向左侧的方向上增大。因此，校正单元102在左侧不执行任何校正。然而，在可视外壳202的视点C侧表面上的从视点C来看的预定位置的右侧，在深度方向上的距视点C的距离在朝向右侧的方向上增大但是变化不显著。因此，校正单元102删除在从视点C来看的预定位置的右侧的、可视外壳202的凸起部分202A，使得距离Z从视点C来看、相对于预定位置在朝向右侧的方向上增大。通过这样做，校正单元102生成可视外壳203。

最后，校正单元102基于深度图像194来生成可视外壳203作为经校正的可视外壳203，如图9的D所示。具体地，校正单元102从深度图像194识别到，要生成的前景的3D模型的视点D侧表面与视点D之间的在深度方向上的距离Z从视点D来看在朝向左侧的方向上增大。由于可视外壳203的视点D侧表面与视点D之间的在深度方向上的距离Z从视点D来看在朝向左侧的方向上增大，因此校正单元102不对可视外壳203执行任何校正。

如上所述，校正单元102基于深度图像191至194来校正可视外壳170，以生成形状与前景对象121相同的可视外壳203。然后，校正单元102将可视外壳203作为前景的3D模型提供给网格生成单元103。

(解码装置的处理的描述)

图10是用于说明图1所示的解码装置13执行的解码处理的流程图。例如，当从编码装置12的传送单元25逐帧地传送编码流和虚拟视点信息时，开始该解码处理。

在图10的步骤S31中，解码装置13的接收单元31接收从编码装置12的传送单元25传送的虚拟视点信息和编码流。接收单元31将虚拟视点信息提供给重构单元33，并且将编码流提供给解码单元32。

在步骤S32中，解码单元32通过与编码单元23的编码方法兼容的方法对从接收单元31提供的编码流进行解码。解码单元32将得到的每个虚拟摄像装置的彩色图像和深度相关图像提供给重构单元33。

在步骤S33中，重构单元33的可视外壳生成单元101(图4)基于从接收单元31提供的虚拟视点信息、以及作为从解码单元32提供的每个虚拟摄像装置的深度相关图像的颜色分量的轮廓图像来生成可视外壳。可视外壳生成单元101将所生成的可视外壳提供给校正单元102。

在步骤S34中，校正单元102基于作为从解码单元32提供的各个虚拟摄像装置的深度相关图像的亮度分量的深度图像来校正从可视外壳生成单元101提供的可视外壳。通过这样做，校正单元102生成前景的3D模型。校正单元102将前景的3D模型提供给网格生成单元103。

在步骤S35中，网格生成单元103将前景的3D模型转换成一个或更多个多边形网格。网格生成单元103将与前景的3D模型的各个多边形网格有关的形状信息提供给3D数据生成单元104。

在步骤S36中，3D数据生成单元104基于虚拟视点信息、各个虚拟摄像装置的彩色图像、以及与各个多边形网格有关的形状信息来重构前景的3D模型的3D数据。3D数据生成单元104将前景的3D模型的3D数据提供给呈现单元34。

在步骤S37中，与转换单元21类似，呈现单元34基于显示视点信息、根据从重构单元33提供的前景的3D模型的3D数据来生成显示视点的前景彩色图像作为显示图像。呈现单元34将前景的显示图像提供给显示装置14。

如上所述，编码装置12将作为前景信息的、多个视点的轮廓图像连同多个视点的深度图像一起传送到解码装置13。因此，解码装置13可以基于多个视点的深度图像和轮廓图像来仅生成前景的3D模型。

<第二实施方式>

(重构单元的示例配置)

应用了本公开内容的图像处理系统的第二实施方式与第一实施方式的不同之处在于，前景信息不是各个虚拟摄像装置的轮廓图像，而是针对各个虚拟摄像装置的深度图像中的前景的像素值的阈值(所述阈值在下文中将被称为前景深度阈值)。

具体地，除了生成单元22生成前景深度图像而不是轮廓图像、用深度图像替换深度相关图像、用虚拟视点信息和前景深度阈值替换元数据、以及重构单元33具有不同配置以外，应用了本公开内容的图像处理系统的第二实施方式的配置类似于图1所示的配置。因此，下面将不会没有必要地重复对除了重构单元33之外的部件的说明。

图11是示出根据应用了本公开内容的图像处理系统的第二实施方式的重构单元33的配置的框图。

在图11所示的配置中，与图4中所示的部件相同的部件由与图4中使用的附图标记相同的附图标记表示。将不重复已经做出的说明。

图11中的重构单元33的配置与图4中的配置的不同之处在于，添加了轮廓图像生成单元221。

在第二实施方式中，解码装置13的接收单元31接收多个虚拟摄像装置的彩色图像和深度图像的编码流，将编码流提供给解码单元32，接收前景深度阈值和虚拟视点信息，并且将前景深度阈值和虚拟视点信息提供给重构单元33。解码单元32对编码流进行解码，并且将得到的多个虚拟摄像装置的彩色图像和深度图像提供给重构单元33。

重构单元33的轮廓图像生成单元221(图像生成单元)基于输入的前景深度阈值和深度图像，针对每个虚拟摄像装置而生成轮廓图像。

具体地，针对深度图像的每个像素，轮廓图像生成单元221确定像素的像素值是否等于或小于前景深度阈值。轮廓图像生成单元221将像素值被确定为等于或小于前景深度阈值的像素的轮廓图像的像素值设置为表示前景区域的255，并且将像素值被确定为大于前景深度阈值的像素的轮廓图像的像素值设置为表示背景区域的0。

注意，在根据上面的表达式(2)确定深度图像的像素值的情况下，像素值被确定为等于或小于前景深度阈值的像素的轮廓图像的像素值被设置为0，并且像素值被确定为大于前景深度阈值的像素的轮廓图像的像素值被设置为255。

轮廓图像生成单元221可以生成如上所述的轮廓图像。轮廓图像生成单元221将轮廓图像提供给可视外壳生成单元101。

注意，除了在步骤S33中的处理之前执行轮廓图像生成单元221生成轮廓图像的处理之外，第二实施方式中的解码处理类似于图10中所示的解码处理。

如上所述，在第二实施方式中，编码装置12将作为前景信息的多个视点的前景深度阈值连同多个视点的深度图像一起传送到解码装置13。因此，解码装置13可以基于多个视点的深度图像和前景深度阈值来仅生成前景的3D模型。

<第三实施方式>

(重构单元的示例配置)

应用了本公开内容的图像处理系统的第三实施方式与第一实施方式的不同之处在于，不传送任何前景信息，并且深度相关图像是将前景的深度图像作为亮度分量并将背景的深度图像作为颜色分量的图像。

具体地，除了转换单元21通过分别生成背景的深度图像和前景的深度图像来生成深度相关图像、未设置生成单元22、以及重构单元33具有不同配置以外，应用了本公开内容的图像处理系统的第三实施方式的配置类似于图1所示的配置。因此，下面将不会没有必要地重复对除了重构单元33之外的部件的说明。

图12是示出根据应用了本公开内容的图像处理系统的第三实施方式的重构单元33的配置的框图。

在图12所示的配置中，与图4中所示的部件相同的部件由与图4中使用的附图标记相同的附图标记表示。将不再重复已经做出的说明。

图12所示的重构单元33的配置与图4中的配置的不同之处在于，设置了凸壳生成单元241和校正单元242来代替可视外壳生成单元101和校正单元102。

在第三实施方式中，解码装置13的接收单元31接收多个虚拟摄像装置的彩色图像和深度相关图像的编码流，将编码流提供给解码单元32，接收虚拟视点信息，并且将虚拟视点信息提供给重构单元33。解码单元32对编码流进行解码，并且将得到的多个虚拟摄像装置的彩色图像和深度图像提供给重构单元33。

基于输入的虚拟视点信息，重构单元33的凸壳生成单元241生成所有虚拟摄像装置的视角中包括的凸壳(凸多边形)，并且将凸壳提供给校正单元242。

基于作为输入的多个虚拟摄像装置的深度相关图像的亮度分量的前景深度图像，与图4中的校正单元102类似，校正单元242对从凸壳生成单元241提供的凸壳进行校正，以重构前景的3D模型。校正单元242将前景的3D模型提供给网格生成单元103。

根据第三实施方式的重构单元33在不使用如上所述的任何前景信息的情况下生成前景的3D模型。

(凸壳的示例)

图13是示出图12中所示的凸壳生成单元241生成的凸壳的示例的图。

在图13中，与图5中所示的部件相同的部件由与图5中使用的附图标记相同的附图标记表示。将不再重复已经做出的说明。

在图13所示的示例中，如图5至图9所示的示例中那样，视点A至D被布置成围绕前景对象121。在这种情况下，凸壳生成单元241生成视点A至D的所有视角141至144中包括的3D区域作为凸壳260。

具体地，凸壳生成单元241首先生成凸壳，该凸壳是视点A的视角141中包括的3D区域。然后，凸壳生成单元241生成新的凸壳，该新的凸壳是所生成的凸壳中的、被包括在视点B的视角142中的3D区域。之后，通过以与上述类似的方式依次使用视点C的视角143和视点D的视角144来更新凸壳，从而最终生成凸壳260。该凸壳260包括对象121。

与图4中的校正单元102类似，校正单元242基于前景深度图像来校正凸壳260，以生成形状与对象121相同的凸壳作为前景的3D模型。

注意，除了步骤S33中的处理被替换成由凸壳生成单元241执行以生成凸壳的处理、以及步骤S34中的处理被替换成由校正单元242执行以通过校正凸壳来生成前景的3D模型的处理以外，根据第三实施方式的解码处理类似于图10所示的解码处理。

<第四实施方式>

(重构单元的示例配置)

应用了本公开内容的图像处理系统的第四实施方式与第一实施方式的不同之处在于重构3D模型的方法。具体地，除了重构单元33的配置之外，应用了本公开内容的图像处理系统的第四实施方式的配置类似于图1所示的配置。因此，下面将不再没有必要地重复对除了重构单元33之外的部件的说明。

图14是示出根据应用了本公开内容的图像处理系统的第四实施方式的重构单元33的示例配置的框图。

在图14所示的配置中，与图4中所示的部件相同的部件由与图4中使用的附图标记相同的附图标记表示。将不再重复已经做出的说明。

图14中的重构单元33包括前景深度图像生成单元261、网格生成单元262、网格叠加单元263和3D数据生成单元104。

前景深度图像生成单元261基于作为从解码单元32提供的深度相关图像的亮度分量的深度图像以及作为颜色分量的轮廓图像，针对每个虚拟摄像装置而生成前景深度图像。前景深度图像生成单元261将前景深度图像提供给网格生成单元262。

针对每个虚拟摄像装置，网格生成单元262基于从前景深度图像生成单元261提供的前景深度图像以及从接收单元31提供的虚拟视点信息，生成构成前景的3D模型的一个或更多个多边形网格。针对每个虚拟摄像装置，网格生成单元262将与生成的每个多边形网格有关的形状信息提供给网格叠加单元263。

网格叠加单元263(生成单元)将与从网格生成单元262提供的关于各个虚拟摄像装置的各条形状信息对应的多边形网格进行叠加。通过这样做，网格叠加单元263生成构成前景的3D模型的多边形网格。网格叠加单元263将与前景的3D模型的各个多边形网格有关的形状信息提供给3D数据生成单元104。

(前景深度图像的示例)

图15是示出图14中所示的前景深度图像生成单元261生成的前景深度图像的示例的图。

在图15中，与图6和图8中所示的部件相同的部件用与图6和图8中使用的附图标记相同的附图标记表示。将不再重复已经进行的说明。

在图15所示的示例中，虚拟摄像装置的视点为总共五个视点：图5中所示的视点A到D以及从在图5中看到对象121的方向(图5中的图的前侧)采用的视点E。在这种情况下，视点E的轮廓图像是轮廓图像281，并且视点E的深度图像是深度图像282。

前景深度图像生成单元261提取与像素值指示前景区域的、视点A的轮廓图像151的像素对应的视点A的深度图像191的像素的像素值，并且将所提取的像素值设置为与该像素对应的前景深度图像301的像素值。前景深度图像生成单元261还将与像素值指示背景区域的、视点A的轮廓图像151的像素对应的前景深度图像301的像素的像素值设置为指示背景的特定值。以这种方式，前景深度图像生成单元261生成前景深度图像301。

同样地，前景深度图像生成单元261根据视点B的轮廓图像152和深度图像192生成前景深度图像302，并且根据视点C的轮廓图像153和深度图像193生成前景深度图像303。此外，前景深度图像生成单元261根据视点D的轮廓图像154和深度图像194生成前景深度图像304，并且根据视点E的轮廓图像281和深度图像282生成前景深度图像305。注意，在图15中，像素值是特定值的区域用斜线画出阴影。

(生成多边形网格的方法的描述)

图16是用于说明利用图14所示的网格生成单元262生成多边形网格的方法的图。

在图16所示的示例中，前景深度图像生成单元261生成在图16的左侧所示的前景的深度图像310作为预定视点的深度图像。在这种情况下，如在图16的右侧所示，网格生成单元262将点311布置在前景的深度图像310的各个像素的预定位置(中心)处，并且提取与像素值不是指示背景区域的特定值的像素对应的点312。然后，网格生成单元262将所提取的点312顺序地设置为要处理的点。

例如，在提取了位于要处理的点的右侧、下侧和右下侧的所有三个点311的情况下，网格生成单元262生成顶点为要处理的点和在要处理的点的右侧和下侧的点312的三角形313。网格生成单元262还生成顶点为在要处理的点的右侧、下侧和右下侧的三个点312的三角形314。

网格生成单元262基于形成三角形313的各个顶点的点312在前景深度图像310上的位置、与各个点312对应的前景深度图像310的像素值、以及虚拟视点信息，生成与三角形313对应的三维区域作为多边形网格。网格生成单元262还以与生成与三角形313对应的多边形网格类似的方式生成与三角形314对应的多边形网格。

在以上述方式利用图15中所示的前景深度图像301至305生成视点A至E的多边形网格之后，生成图17中所示的多边形网格321至325。

如图17的A所示，从视点E看到的、视点A的多边形网格321的形状是直线，并且从视点A看到的、多边形网格321的形状是矩形。如图17的B所示，从视点E看到的、视点B的多边形网格322的形状是从左上向右下下降的直线，并且从视点B来看的多边形网格322的形状是矩形。

同样，如图17的C所示，从视点E看到的、视点C的多边形网格323的形状是通过将从左上向右下下降的左侧对角线和从左下向右上上升的右侧对角线进行连接而形成的线。从视点C看到的、多边形网格323的形状是通过将两个矩形在横向方向上进行组合而形成的矩形。如图17的D所示，从视点E看到的、视点D的多边形网格324的形状是从左下向右上上升的直线，并且从视点D看到的、多边形网格324的形状是矩形。

此外，如图17的E所示，从视点E看到的、视点E的多边形网格325的形状是三角形，并且从视点A看到的、多边形网格325的形状是直线。

(多边形网格叠加方法的说明)

图18是用于说明利用图14所示的网格叠加单元263将各个虚拟摄像装置的视点的多边形网格进行叠加的方法的图。

在图18所示的示例中，网格生成单元262生成视点A至E的多边形网格321至325。图18示出了从视点E看到的多边形网格321至325。

如图18的A所示，网格叠加单元263首先在相同的三维空间中将视点A的多边形网格321与视点B的多边形网格322彼此叠加，以生成多边形网格341。如图18的B所示，网格叠加单元263然后在相同的三维空间中将多边形网格341与视点C的多边形网格323彼此叠加，以生成多边形网格342。

如图18的C所示，网格叠加单元263然后在相同的三维空间中将多边形网格342与视点D的多边形网格324彼此叠加，以生成多边形网格343。最后，如图18的D所示，网格叠加单元263在相同的三维空间中将多边形网格343与视点E的多边形网格325彼此叠加，以生成多边形网格344。网格叠加单元263然后将该多边形网格344设置为前景的3D模型的多边形网格。

如上所述，网格叠加单元263可以通过将视点A至E的多边形网格321至325彼此叠加来生成前景的3D模型的多边形网格。

(解码装置的处理的描述)

图19是用于说明根据第四实施方式的解码装置13要执行的解码处理的流程图。例如，当从第四实施方式的编码装置12的传送单元25逐帧地传送编码流和虚拟视点信息时，开始该解码处理。

图19中的步骤S51和S52中的处理类似于图10中的步骤S31和S32中的处理，因此，本文中不再重复对这些处理的说明。

在步骤S53中，重构单元33的前景深度图像生成单元261(图14)基于作为从解码单元32提供的深度相关图像的亮度分量的深度图像以及作为颜色分量的轮廓图像，针对每个虚拟摄像装置生成前景深度图像。前景深度图像生成单元261将前景深度图像提供给网格生成单元262。

在步骤S54中，针对每个虚拟摄像装置，网格生成单元262基于从前景深度图像生成单元261提供的前景深度图像以及从接收单元31提供的虚拟视点信息，生成形成前景的3D模型的一个或更多个多边形网格。针对每个虚拟摄像装置，网格生成单元262将关于所生成的每个多边形网格的形状信息提供给网格叠加单元263。

在步骤S55中，网格叠加单元263将与从网格生成单元262提供的关于各个虚拟摄像装置的各条形状信息相对应的多边形网格进行叠加。通过这样做，网格叠加单元263生成构成前景的3D模型的多边形网格。网格叠加单元263将与前景的3D模型的各个多边形网格有关的形状信息提供给3D数据生成单元104。

步骤S56和S57中的处理类似于图10中的步骤S36和S37中的处理，因此，这里不重复对这些处理的说明。

注意，第一实施方式和第四实施方式中的各个解码装置13可以被设计成使用轮廓图像、彩色图像和深度图像来生成各个视点的背景彩色图像和背景深度图像。在这种情况下，例如，针对各个虚拟摄像装置，解码装置13基于背景深度图像来对背景彩色图像执行模糊处理，使得当距离Z较长时，模糊更强烈。然后，解码装置13基于各个虚拟摄像装置的在模糊处理之后的背景彩色图像来生成显示视点的背景彩色图像，并且通过将显示视点的背景彩色图像与显示视点的前景彩色图像进行组合来生成显示图像。

<第五实施方式>

(重构单元的示例配置)

应用了本公开内容的图像处理系统的第五实施方式与第四实施方式的不同之处在于，前景信息不是各个虚拟摄像装置的轮廓图像，而是针对虚拟摄像装置的前景深度阈值。

换言之，第五实施方式是第二实施方式与第四实施方式的组合。因此，如图20所示，第五实施方式中的重构单元33在图14所示的重构单元33的前景深度图像生成单元261之前的级处包括图11所示的轮廓图像生成单元221。

注意，第二实施方式和第五实施方式中的各个解码装置13可以被设计成使用前景深度阈值、彩色图像和深度图像来生成各个视点的背景彩色图像和背景深度图像。在这种情况下，例如，针对各个虚拟摄像装置，解码装置13基于背景深度图像来对背景彩色图像执行模糊处理，使得当距离Z较长时，模糊更强烈。然后，解码装置13基于各个虚拟摄像装置的在模糊处理之后的背景彩色图像来生成显示视点的背景彩色图像，并且通过将显示视点的背景彩色图像与显示视点的前景彩色图像进行组合来生成显示图像。

<第六实施方式>

(重构单元的示例配置)

应用了本公开内容的图像处理系统的第六实施方式与第四实施方式的不同之处在于，不传送任何前景信息，并且深度相关图像是将前景的深度图像作为亮度分量并将背景的深度图像作为颜色分量的图像。

换言之，第六实施方式是第三实施方式与第四实施方式的组合。具体地，除了重构单元33的配置之外，应用了本公开内容的图像处理系统的第六实施方式的配置类似于第三实施方式的配置。因此，下面将不会没有必要地重复对除了重构单元33之外的部件的说明。

图21是示出根据应用了本公开内容的图像处理系统的第六实施方式的重构单元33的配置的框图。

在图21所示的配置中，与图14中所示的部件相同的部件由与图14中使用的附图标记相同的附图标记表示。将不再重复已经做出的说明。

图21中的重构单元33与图14所示的配置的不同之处在于，未设置前景深度图像生成单元261。换言之，在第六实施方式中，深度相关图像的亮度分量是前景深度图像，因此，不需要生成任何前景深度图像。因此，在图21的重构单元33中没有设置前景深度图像生成单元261，并且网格生成单元262基于作为深度相关图像的亮度分量的前景深度图像和虚拟视点信息，针对各个虚拟摄像装置而生成前景的3D模型的多边形网格。

注意，在第三实施方式和第六实施方式中，每个编码装置12均传送包括作为亮度分量的前景深度图像和作为颜色分量的背景深度图像的深度相关图像的编码流。然而，每个编码装置12可以仅传送前景深度图像的编码流。

此外，在第三实施方式和第六实施方式中，整个对象的彩色图像可以被划分成前景彩色图像和背景彩色图像，并且从编码装置12传送到解码装置13。在这种情况下，例如，针对各个虚拟摄像装置，解码装置13基于背景深度图像对背景彩色图像执行模糊处理，使得当距离Z较长时，模糊更强烈。然后，解码装置13基于各个虚拟摄像装置的在模糊处理之后的背景彩色图像来生成显示视点的背景彩色图像，并且通过将显示视点的背景彩色图像与显示视点的前景彩色图像进行组合来生成显示图像。

<第七实施方式>

(应用了本公开内容的计算机的描述)

上述一系列处理可以通过硬件来执行或者可以通过软件来执行。在这一系列处理要通过软件来执行的情况下，将构成软件的程序安装到计算机中。这里，例如，计算机可以是并入专用硬件中的计算机，或者可以是其中安装有各种类型的程序的、可以执行各种功能的通用个人计算机等。

图22是示出根据程序执行上述一系列处理的计算机的硬件的示例配置的框图。

在计算机900中，中央处理单元(CPU)901、只读存储器(ROM)902和随机存取存储器(RAM)903通过总线904彼此连接。

输入/输出接口905还连接到总线904。输入单元906、输出单元907、存储单元908、通信单元909和驱动器910连接到输入/输出接口905。

输入单元906由键盘、鼠标、麦克风等构成。输出单元907由显示器、扬声器等构成。存储单元908由硬盘、非易失性存储器等构成。通信单元909由网络接口等构成。驱动器910驱动可移动介质911，诸如磁盘、光盘、磁光盘或半导体存储器。

在具有上述配置的计算机900中，CPU 901例如经由输入/输出接口905和总线904将存储单元908中存储的程序加载到RAM 903中，并且执行该程序，从而执行上述一系列处理。

例如，计算机900(CPU 901)要执行的程序可以记录在作为要提供的封装介质等的可移动介质911中。替选地，可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质提供程序。

在计算机900中，当可移动介质911被安装在驱动器910上时，程序可以经由输入/输出接口905安装到存储单元908中。替选地，程序可以由通信单元909通过有线或无线传输介质来接收，并且被安装在存储单元908中。除了上述之外，程序还可以被预先安装到ROM902或存储单元908中。

应当注意，计算机900要执行的程序可以是用于根据本说明书中描述的序列、按时间顺序执行处理的程序，或者可以是用于并行执行处理或者在需要时(诸如在调用时)执行处理的程序。

<示例应用>

根据本公开内容的技术可以应用于各种产品。例如，根据本公开内容的技术可以被实现为安装在任何类型的移动对象上的装置，移动对象诸如为汽车、电动车辆、混合动力电动车辆、摩托车、自行车、个人移动设备、飞机、无人机、船只、机器人、建筑机械或农业机械(拖拉机)。

图23是示意性地示出车辆控制系统7000的示例配置的框图，该车辆控制系统7000是可以应用根据本公开内容的技术的运动对象控制系统的示例。车辆控制系统7000包括经由通信网络7010连接的多个电子控制单元。在图23所示的示例中，车辆控制系统7000包括驱动系统控制单元7100、车身系统控制单元7200、电池控制单元7300、外部信息检测单元7400、车载信息检测单元7500和整体控制单元7600。例如，连接多个控制单元的通信网络7010可以是符合适当标准的车载通信网络，诸如控制器局域网(CAN)、本地互连网络(LIN)、局域网(LAN)或FlexRay(注册商标)。

每个控制单元包括：微型计算机，其根据各种程序执行算术处理；存储单元，其存储微型计算机要执行的程序、用于各种计算的参数等；以及驱动电路，其驱动要经受各种控制的当前装置。每个控制单元包括用于通过有线通信或无线通信与外部装置或传感器等进行通信的通信接口、以及用于经由通信网络7010与另一控制单元通信的网络接口。在图23中，微型计算机7610、通用通信接口7620、专用通信接口7630、定位单元7640、信标接收单元7650、车载装置接口7660、声音/图像输出单元7670、车载网络接口7680和存储单元7690被示为整体控制单元7600的功能部件。同样地，其他控制单元均包括微型计算机、通信接口、存储单元等。

驱动系统控制单元7100根据各种程序控制与车辆的驱动系统相关的装置的操作。例如，驱动系统控制单元7100用作控制装置(诸如，用于产生车辆的驱动力的驱动力产生装置，诸如内燃机或驱动电机)、用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆的转向角的转向机构、以及用于产生车辆的制动力的制动装置。驱动系统控制单元7100还可以具有诸如防抱死制动系统(ABS)或电子稳定性控制器(ESC)的控制装置的功能。

车辆状态检测器7110连接到驱动系统控制单元7100。例如，车辆状态检测器7110包括以下部件中的至少一个：陀螺仪传感器，其检测车身的轴向旋转运动的角速度；加速度传感器，其检测车辆的加速度；以及用于检测加速踏板的操作量、制动器踏板的操作量、方向盘的转向角、发动机转速、车轮转速等的传感器。驱动系统控制单元7100使用从车辆状态检测器7110输入的信号来执行运算处理，并且控制内燃机、驱动电机、电动助力转向装置、制动装置等。

车身系统控制单元7200根据各种程序来控制安装在车身上的各种装置的操作。例如，车身系统控制单元7200用作无钥匙进入系统、智能钥匙系统、电动车窗装置或者用于各种灯(诸如前照灯、倒车灯、刹车灯、转向信号灯或雾灯)的控制装置。在这种情况下，车身系统控制单元7200可以接收从替代钥匙的便携式装置发送的无线电波、或者来自各种开关的信号。主体系统控制单元7200接收这些无线电波或信号的输入，并且控制车辆的门锁装置、电动车窗装置、灯等。

电池控制单元7300根据各种程序控制作为驱动电机的电源的二次电池7310。例如，电池控制单元7300从包括二次电池7310的电池装置接收诸如电池的电池温度、电池输出电压或剩余电量的信息。电池控制单元7300使用这些信号来执行运算处理，以控制二次电池7310的温度调节或者控制设置在电池装置中的冷却装置等。

外部信息检测单元7400检测配备有车辆控制系统7000的车辆外部的信息。例如，成像单元7410和/或外部信息检测器7420连接到外部信息检测单元7400。成像单元7410包括以下摄像装置中的至少一种：飞行时间(ToF)摄像装置、立体摄像装置、单目摄像装置、红外摄像装置或其他摄像装置。例如，外部信息检测器7420包括用于检测当前天气或气象现象的环境传感器、和/或用于检测配备有车辆控制系统7000的车辆周围的另一车辆、障碍物、行人等的周围信息检测传感器。

例如，环境传感器可以由以下传感器中的至少一种构成：检测雨水的雨滴传感器、检测雾的雾传感器、检测太阳辐射程度的太阳辐射传感器、或者检测降雪的雪传感器。周围信息检测传感器可以是以下装置中的至少一种：超声波传感器、雷达装置和LIDAR(光检测和测距、激光成像检测和测距)装置。成像单元7410和外部信息检测器7420可以被分别设置为独立装置和独立传感器，或者可以被设置为其中集成有多个传感器或装置的装置。

此处，图24示出了成像单元7410和外部信息检测器7420的安装位置的示例。例如，成像单元7910、7912、7914、7916和7918被设置在以下位置中的至少一个位置处：车辆7900的前端边缘、后视镜、后保险杠、后门和车辆内部的前风挡的上部。设置在前端边缘上的成像单元7910和设置在车辆内部的前风挡的上部上的成像单元7918主要捕获车辆7900前方的图像。设置在后视镜上的成像单元7912和7914主要捕获车辆7900的侧面的图像。设置在后保险杠或后门上的成像单元7916主要捕获在车辆7900后面的图像。设置在车辆内部的前风挡的上部上的成像单元7918主要用于检测在车辆前方行驶的车辆、行人、障碍物、交通信号灯、交通标志、车道等。

注意，图24示出了成像单元7910、7912、7914和7916中的每一个的成像范围的示例。成像范围a表示设置在前端边缘上的成像单元7910的成像范围，成像范围b和c表示设置在各个后视镜上的成像单元7912和7914的成像范围，成像范围d表示设置在后保险杠或后门上的成像单元7916的成像范围。例如，由成像单元7910、7912、7914和7916捕获的图像数据彼此叠加，从而获得从上方看到的车辆7900的俯瞰图像。

设置在车辆7900的前部、后部、侧面、角部上以及车辆内部的前风挡的上部的外部信息检测器7920、7922、7924、7926、7928和7930可以例如是超声波传感器或雷达装置。设置在车辆7900的前端边缘、后保险杠和后门上以及车辆内部的前风挡的上部的外部信息检测器7920、7926和7930可以例如是LIDAR装置。这些外部信息检测器7920至7930主要用于检测在车辆前方行驶的车辆、行人、障碍物等。

返回参照图23，继续进行说明。外部信息检测单元7400使成像单元7410捕获车辆外部的图像，并且接收捕获图像数据。外部信息检测单元7400还从与其连接的外部信息检测器7420接收检测信息。在外部信息检测器7420是超声波传感器、雷达装置或LIDAR装置的情况下，外部信息检测单元7400使外部信息检测器7420发送超声波或电磁波等，并且接收关于接收到的反射波的信息。基于所接收到的信息，外部信息检测单元7400可以执行用于检测人、车辆、障碍物、标志、路面上的字符等的对象检测处理，或者执行距离检测处理。基于所接收到的信息，外部信息检测单元7400还可以执行用于识别降雨、雾、路面状况等的环境识别处理。基于所接收到的信息，外部信息检测单元7400还可以计算距车辆外部的对象的距离。

此外，基于所接收到的图像数据，外部信息检测单元7400可以执行用于识别人、车辆、障碍物、标志、路面上的字符等的图像识别处理或者距离检测处理。外部信息检测单元7400还可以对所接收到的图像数据执行诸如失真校正或定位的处理，并且将由不同的成像单元7410捕获的图像数据进行组合，以生成俯瞰图像或全景图像。外部信息检测单元7400还可以使用由不同成像单元7410捕获的图像数据来执行视点转换处理。

车载信息检测单元7500检测关于车辆内部的信息。例如，检测驾驶员的状态的驾驶员状态检测器7510连接到车载信息检测单元7500。驾驶员状态检测器7510可以包括捕获驾驶员的图像的摄像装置、检测关于驾驶员的生物信息的生物传感器(biometricsensor)、收集车辆内部的声音的麦克风等。生物传感器例如被设置在就座表面或方向盘等上，并且检测与坐在座位上的乘客或者握住方向盘的驾驶员有关的生物信息。基于从驾驶员状态检测器7510输入的检测信息，车载信息检测单元7500可以计算驾驶员的疲劳程度或集中程度，或者确定驾驶员是否正在打瞌睡。车载信息检测单元7500还可以对收集的声音信号执行噪声消除处理等。

整体控制单元7600根据各种程序控制车辆控制系统7000中的整体操作。输入单元7800连接到整体控制单元7600。例如，输入单元7800由乘客可以对其执行输入操作的装置(诸如触摸面板、按钮、麦克风、开关或操纵杆)构成。整体控制单元7600可以接收通过对通过麦克风输入的声音执行语音识别而获得的数据。例如，输入单元7800可以是使用红外线或一些其他无线电波的遥控装置，或者是与对车辆控制系统7000的操作兼容的外部连接装置，诸如便携式电话或个人数字助理(PDA)。例如，输入单元7800可以是摄像装置，并且在这种情况下，乘客可以通过手势输入信息。替选地，可以输入通过检测乘客穿戴的可穿戴装置的移动而获得的数据。此外，输入单元7800可以包括例如输入控制电路等，该输入控制电路等基于乘客等使用上述输入单元7800输入的信息来生成输入信号，并且将输入信号输出到整体控制单元7600。通过操作该输入单元7800，乘客等将各种数据输入到车辆控制系统7000或者向车辆控制系统7000发出处理操作指令。

存储单元7690可以包括存储微型计算机要执行的各种程序的只读存储器(ROM)、以及存储各种参数、计算结果、传感器值等的随机存取存储器(RAM)。此外，存储单元7690可以由诸如硬盘驱动器(HDD)的磁存储器件、半导体存储器件、光学存储器件、磁光存储器件等构成。

通用通信接口7620是作为与存在于外部环境7750中的各种装置的通信的中介的通用通信接口。通用通信接口7620可以实现诸如GSM(全球移动通信系统)、WiMAX、LTE(长期演进)或LTE-A(高级LTE)的蜂窝通信协议、或者诸如无线LAN(也称为Wi-Fi(注册商标))或Bluetooth(注册商标)的一些其他无线通信协议。通用通信接口7620可以经由基站或接入点连接到存在于外部网络(例如，因特网、云网络或公司特定网络)中的装置(例如，应用服务器或控制服务器)。替选地，通用通信接口7620可以使用对等网(P2P)技术而连接到存在于车辆附近的终端(例如，驾驶员、行人或商店的终端、或者机器类型通信(MTC)终端)。

专用通信接口7630是支持为在车辆中使用而制定的通信协议的通信接口。例如，专用通信接口7630可以实现标准协议，诸如为作为下层的IEEE802.11p与作为上层的IEEE1609的组合的车辆环境下无线接入(WAVE)、专用短程通信(DSRC)、或者蜂窝通信协议。通常，专用通信接口7630进行V2X(车辆到车辆)通信，其是包括以下类型的通信中的至少一种的概念：车辆到车辆通信、车辆到基础设施通信、车辆到家庭通信以及车辆到行人通信。

定位单元7640从全球导航卫星系统(GNSS)卫星接收GNSS信号(例如，来自全球定位系统(GPS)卫星的GPS信号)，执行定位，并且生成包括车辆的纬度、经度和高度的位置信息。注意，定位单元7640可以通过与无线接入点交换信号来标识当前位置，或者可以从具有定位功能的终端(诸如便携式电话、PHS或智能电话)获取位置信息。

信标接收单元7650接收例如从安装在道路上的无线电台等发送的无线电波或电磁波，并且获取关于当前位置、交通拥堵、道路封闭、所需时间等的信息。注意，信标接收单元7650的功能可以包括在上述的专用通信接口7630中。

车载装置接口7660是作为微型计算机7610与存在于车辆中的各种车载装置7760之间的连接的中介的通信接口。车载装置接口7660可以使用诸如无线LAN、Bluetooth(注册商标)、近场通信(NFC)或无线USB(WUSB)的无线通信协议来建立无线连接。此外，车载装置接口7660可以经由连接终端(未示出)(在需要时，以及经由线缆)建立到通用串行总线(USB)、高清晰度多媒体接口(HDMI)、移动高清链路(MHL)等的有线连接。例如，车载装置7760可以包括乘客拥有的移动装置或可穿戴式装置、和/或安装在车辆中或附接到车辆的信息装置。车载装置7760还可以包括搜索到期望目的地的路线的导航装置。车载装置接口7660与这些车载装置7760交换控制信号或数据信号。

车载网络接口7680是作为微型计算机7610与通信网络7010之间的通信的中介的接口。车载网络接口7680根据通信网络7010支持的预定协议发送和接收信号等。

整体控制单元7600的微型计算机7610依据经由以下部件中的至少一个获取的信息、根据各种程序控制车辆控制系统7000：通用通信接口7620、专用通信接口7630、定位单元7640、信标接收单元7650、车载装置接口7660和车载网络接口7680。例如，基于所获取的外部信息和内部信息，微型计算机7610可以计算驱动力产生装置、转向机构或制动装置的控制目标值，并且将控制命令输出到驱动系统控制单元7100。例如，微型计算机7610可以执行协同控制以实现高级驾驶员辅助系统(ADAS)的功能，包括避免车辆碰撞或减轻冲击、基于车辆之间的距离的跟车运行、车速维持运行、车辆碰撞警告、车道偏差警告等。微型计算机7610还可以执行协同控制，以基于所获取的关于车辆周围的信息、通过控制驱动力产生装置、转向机构、制动装置等来进行不依赖于驾驶员的操作而自主地运行的自动驾驶等。

微型计算机7610可以生成与车辆与诸如附近建筑结构或人的对象之间的三维距离有关的信息，并且基于经由以下部件中的至少一个所获取的信息来创建包括关于车辆的当前位置的周围信息的本地地图信息：通用通信接口7620、专用通信接口7630、定位单元7640、信标接收单元7650、车载装置接口7660和车载网络接口7680。微型计算机7610还可以通过基于所获取的信息预测诸如车辆的碰撞、行人等的接近、或者进入封闭道路的危险来生成警告信号。例如，警告信号可以是用于产生警报声或用于开启警告灯的信号。

声音/图像输出单元7670将音频输出信号和/或图像输出信号传送到输出装置，该输出装置能够从视觉上或听觉上向车辆的乘客或车辆的外部通知信息。在图23所示的示例中，音频扬声器7710、显示单元7720和仪表板7730被示为输出装置。例如，显示单元7720可以包括车载显示器和/或平视显示器。显示单元7720可以具有增强现实(AR)显示功能。输出装置可以是除上述装置之外的一些装置，诸如乘客穿戴的如耳机或眼镜式显示器的可穿戴式装置、投影仪或灯。在输出装置是显示装置的情况下，显示装置以诸如文本、图像、表格或图表的各种形式从视觉上显示通过微型计算机7610执行的各种处理而获得的结果、或者从其他控制单元接收的信息。此外，在输出装置是声音输出装置的情况下，声音输出装置通过将再现声音数据或者由声学数据等形成的音频信号转换成模拟信号来从听觉上输出模拟信号。

注意，在图23所示的示例中，经由通信网络7010连接的至少两个控制单元可以被集成到一个控制单元中。替选地，每个控制单元可以由多个控制单元构成。此外，车辆控制系统7000可以包括在图中未示出的另一控制单元。此外，在以上描述中，一个控制单元的部分或全部功能可以由一些其他控制单元提供。也就是说，只要经由通信网络7010发送和接收信息，就可以由任何控制单元执行预定的算术处理。同样地，连接到任何控制单元的传感器或装置可以连接到另一个控制单元，并且多个控制单元可以经由通信网络7010彼此发送和接收检测信息。

此外，用于实现根据以上参照图1至图21描述的实施方式中的任一实施方式的图像处理系统10的各个功能的计算机程序可以在任一控制单元等中实现。还可以提供其中存储有这样的计算机程序的计算机可读记录介质。记录介质例如是磁盘、光盘、磁光盘、闪速式存储器等。此外，上述计算机程序可以例如经由网络传送而不使用任何记录介质。

在上述的车辆控制系统7000中，根据参照图1至图21描述的实施方式中的任一实施方式的图像处理系统10可以应用于图23所示的示例应用的车辆控制系统7000。例如，图像处理系统10的成像装置11等同于成像单元7410，编码装置12和解码装置13被集成且等同于整体控制单元7600，以及显示装置14等同于显示单元7720。利用该配置，整体控制单元7600可以仅生成前景的3D模型。

此外，参照图1至图21描述的任一图像处理系统10的部件中的至少一部分可以被形成在用于图23中所示的整个控制单元7600的模块(例如，由一个管芯形成的集成电路模块)中。替选地，参照图1至图21描述的任一图像处理系统10可以由图23中所示的车辆控制系统7000的多个控制单元构成。

在本说明书中，系统指的是多个部件(装置、模块(零件)等)的组件，而不需要将所有部件都设置在同一壳体中。鉴于此，容纳在不同壳体中并且经由网络彼此连接的多个装置构成系统，并且一个壳体中容纳有多个模块的一个装置也是系统。

注意，本说明书中描述的有益效果仅仅是示例，并且本技术的有益效果不限于此并且可以包括其他效果。

此外，本公开内容的实施方式不限于上述实施方式，并且可以在本公开内容的范围内对它们进行各种修改。

例如，本公开内容可以在云计算配置中实现，在该云计算配置中，一个功能经由网络在装置之间共有，并且处理由彼此协作的多个装置执行。

此外，参照上述流程图描述的各个步骤可以由一个装置执行或者可以在多个装置之间共有。

此外，在一个步骤中包括多于一个处理的情况下，该步骤中包括的多个处理可以由一个装置执行或者可以在多个装置之间共有。

注意，本公开内容还可以被实施在下面描述的配置中。

(1)一种图像处理装置，包括：

3D模型生成单元，其基于多个视点的深度图像和所述多个视点的前景图像来生成前景的3D模型。

(2)根据(1)所述的图像处理装置，其中，所述前景图像是示出所述前景的轮廓的轮廓图像。

(3)根据(1)或(2)所述的图像处理装置，还包括：

接收单元，其接收所述多个视点的深度相关图像，

其中，

所述深度相关图像是将所述深度图像作为亮度分量并将所述前景图像作为颜色分量的图像，以及

所述3D模型生成单元基于所述接收单元接收的所述多个视点的深度相关图像来生成所述前景的3D模型。

(4)根据(1)或(2)所述的图像处理装置，还包括：

图像生成单元，其基于所述深度图像中的所述前景的像素值的阈值和所述深度图像，针对各个视点而生成所述前景图像。

(5)根据(4)所述的图像处理装置，还包括：

接收单元，其接收所述多个视点的深度图像和所述阈值。

(6)根据(1)至(5)中任一项所述的图像处理装置，其中，所述3D模型生成单元包括：

可视外壳生成单元，其基于所述多个视点的前景图像来生成可视外壳；以及

校正单元，其通过基于所述多个视点的深度图像校正所述可视外壳生成单元生成的可视外壳，来生成所述前景的3D模型。

(7)根据(1)至(5)中任一项所述的图像处理装置，其中，所述3D模型生成单元包括：

前景深度图像生成单元，其基于所述深度图像和所述前景图像，针对各个视点而生成前景深度图像；以及

生成单元，其基于所述前景深度图像生成单元生成的前景深度图像来生成所述前景的3D模型。

(8)一种图像处理方法，包括：

由图像处理装置基于多个视点的深度图像和所述多个视点的前景图像来生成前景的3D模型的3D模型生成步骤。

(9)一种图像处理装置，包括：

传送单元，其传送多个视点的深度图像以及关于所述多个视点的前景的前景信息。

(10)根据(9)所述的图像处理装置，其中，所述前景信息是示出所述前景的轮廓的轮廓图像。

(11)根据(10)所述的图像处理装置，其中，

所述传送单元传送所述多个视点的深度相关图像，以及

所述深度相关图像是将所述深度图像作为亮度分量并将所述前景信息作为颜色分量的图像。

(12)根据(9)所述的图像处理装置，其中，所述前景信息是针对所述深度图像中的所述前景的像素值的阈值。

(13)一种图像处理方法，包括：

由图像处理装置传送多个视点的深度图像以及关于所述多个视点的前景的前景信息的传送步骤。

(14)一种图像处理装置，包括：

3D模型生成单元，其基于多个视点的前景深度图像来生成前景的3D模型。

(15)根据(14)所述的图像处理装置，还包括：

接收单元，其接收所述多个视点的深度相关图像，

其中，

所述深度相关图像是将所述前景深度图像作为亮度分量并将背景深度图像作为颜色分量的图像，以及

所述3D模型生成单元基于所述多个视点的深度相关图像的亮度分量来生成所述前景的3D模型。

(16)根据(14)或(15)所述的图像处理装置，其中，所述3D模型生成单元包括：

凸壳生成单元，其基于所述多个视点的摄像装置参数来生成凸壳；以及

校正单元，其通过基于所述多个视点的前景深度图像校正所述凸壳生成单元生成的凸壳，来生成所述前景的3D模型。

(17)一种图像处理方法，包括：

由图像处理装置基于多个视点的前景深度图像来生成前景的3D模型的3D模型生成步骤。

附图标记列表

13 解码装置

31 接收单元

33 重构单元

101 可视外壳生成单元

102 校正单元

151至154 轮廓图像

191至194 深度图像

203 可视外壳

221 轮廓图像生成单元

241 凸壳生成单元

260 凸壳

261 前景深度图像生成单元

263 网格叠加单元

281 轮廓图像

282 深度图像

301至305 前景深度图像

344 多边形网格

Claims (9)

1.一种图像处理装置，包括：

接收单元，其接收多个视点的深度相关图像，所述深度相关图像是将所述多个视点的深度图像作为亮度分量并将所述多个视点的前景图像作为颜色分量的图像；以及

3D模型生成单元，其基于作为所述深度相关图像的亮度分量的、所述多个视点的深度图像和作为所述深度相关图像的颜色分量的、所述多个视点的前景图像来生成前景的3D模型，

其中，所述前景图像是示出所述前景的轮廓的轮廓图像。

2.根据权利要求1所述的图像处理装置，其中，所述3D模型生成单元包括：

可视外壳生成单元，其基于所述多个视点的前景图像来生成可视外壳；以及

校正单元，其通过基于所述多个视点的深度图像校正所述可视外壳生成单元生成的可视外壳，来生成所述前景的3D模型。

3.根据权利要求1所述的图像处理装置，其中，所述3D模型生成单元包括：

前景深度图像生成单元，其基于所述深度图像和所述前景图像，针对各个视点而生成前景深度图像；以及

生成单元，其基于所述前景深度图像生成单元生成的前景深度图像来生成所述前景的3D模型。

4.一种图像处理方法，包括：

由图像处理装置接收多个视点的深度相关图像的步骤，所述深度相关图像是将所述多个视点的深度图像作为亮度分量并将所述多个视点的前景图像作为颜色分量的图像；

由所述图像处理装置基于作为所述深度相关图像的亮度分量的、所述多个视点的深度图像和作为所述深度相关图像的颜色分量的、所述多个视点的前景图像来生成前景的3D模型的步骤，

其中，所述前景图像是示出所述前景的轮廓的轮廓图像。

5.一种图像处理装置，包括：

传送单元，其传送多个视点的深度相关图像，所述深度相关图像是将所述多个视点的深度图像作为亮度分量并将关于所述多个视点的前景的前景信息作为颜色分量的图像，作为所述深度相关图像的亮度分量的所述深度图像和作为所述深度相关图像的颜色分量的所述前景信息用于生成所述前景的3D模型，

其中，所述前景信息是示出所述前景的轮廓的轮廓图像。

6.一种图像处理方法，包括：

由图像处理装置传送多个视点的深度相关图像的步骤，所述深度相关图像是将所述多个视点的深度图像作为亮度分量并将关于所述多个视点的前景的前景信息作为颜色分量的图像，作为所述深度相关图像的亮度分量的所述深度图像和作为所述深度相关图像的颜色分量的所述前景信息用于生成所述前景的3D模型，

其中，所述前景信息是示出所述前景的轮廓的轮廓图像。

7.一种图像处理装置，包括：

接收单元，其接收多个视点的深度相关图像，所述深度相关图像是将所述多个视点的前景深度图像作为亮度分量并将所述多个视点的背景深度图像作为颜色分量的图像；以及

3D模型生成单元，其基于作为所述深度相关图像的亮度分量的、所述多个视点的前景深度图像来生成前景的3D模型，

其中，所述前景深度图像是基于所述多个视点的深度图像和所述多个视点的前景图像针对各个视点而生成的，并且所述前景图像是示出所述前景的轮廓的轮廓图像。

8.根据权利要求7所述的图像处理装置，其中，所述3D模型生成单元包括：

凸壳生成单元，其基于所述多个视点的摄像装置参数来生成凸壳；以及

校正单元，其通过基于所述多个视点的前景深度图像校正所述凸壳生成单元生成的凸壳，来生成所述前景的3D模型。

9.一种图像处理方法，包括：

由图像处理装置接收多个视点的深度相关图像的步骤，所述深度相关图像是将所述多个视点的前景深度图像作为亮度分量并将所述多个视点的背景深度图像作为颜色分量的图像；以及

由所述图像处理装置基于作为所述深度相关图像的亮度分量的、所述多个视点的前景深度图像来生成前景的3D模型的步骤，

其中，所述前景深度图像是基于所述多个视点的深度图像和所述多个视点的前景图像针对各个视点而生成的，并且所述前景图像是示出所述前景的轮廓的轮廓图像。