CN110798677B - 三维场景建模方法及装置、电子装置、可读存储介质及计算机设备 - Google Patents

Abstract

本发明公开了一种三维场景建模方法及装置、电子装置、可读存储介质和计算机设备。三维场景建模方法包括采集场景的深度图像，采集场景的可见光图像，处理深度图像及可见光图像以识别场景中的遮挡物体及遮挡物体的类别，根据深度图像指示的测量深度信息、可见光图像指示的测量色彩信息及类别计算遮挡物体的估计深度信息和估计色彩信息，根据测量深度信息、测量色彩信息、估计深度信息和估计色彩信息构建场景的三维色彩模型。本发明实施方式的三维场景建模方法基于测量的深度信息、色彩信息及识别到的遮挡物体的类别共同预估物体被遮挡部分的深度信息和色彩信息，从而补充缺失的深度信息和色彩信息，提升场景三维建模的完整性。

Description

三维场景建模方法及装置、电子装置、可读存储介质及计算机 设备

技术领域

本发明涉及三维建模技术领域，特别涉及一种三维场景建模方法、三维场景建模装置、电子装置、非易失性计算机可读存储介质及计算机设备。

背景技术

现有的三维场景建模通常是通过深度相机拍摄场景的深度图像，并通过可见光相机拍摄二维可见光图像，结合深度图像的深度信息及二维可见光图像的色彩信息对场景进行三维建模。但是场景中难免存在被遮挡的物体，深度相机无法获取到场景中物体被遮挡的部分的深度信息，如此，在三维场景建模时就无法对物体遮挡部分进行三维建模，影像场景三维建模的完整性。

发明内容

本发明的实施例提供了一种三维场景建模方法、三维场景建模装置、电子装置、非易失性计算机可读存储介质及计算机设备。

本发明实施方式的三维场景建模方法包括：

采集所述场景的深度图像；

采集所述场景的可见光图像；

处理所述深度图像及所述可见光图像以识别所述场景中的遮挡物体及所述遮挡物体的类别；

根据所述深度图像指示的测量深度信息、所述可见光图像指示的测量色彩信息及所述类别计算所述遮挡物体的估计深度信息和估计色彩信息；和

根据所述测量深度信息、所述测量色彩信息、所述估计深度信息和所述估计色彩信息构建所述场景的三维色彩模型。

本发明实施方式的三维场景建模装置包括第一采集模块、第二采集模块、处理模块、计算模块和构建模块。第一采集模块用于采集所述场景的深度图像。第二采集模块用于采集所述场景的可见光图像。处理模块用于处理所述深度图像及所述可见光图像以识别所述场景中的遮挡物体及所述遮挡物体的类别。计算模块用于根据所述深度图像指示的测量深度信息、所述可见光图像指示的测量色彩信息及所述类别计算所述遮挡物体的估计深度信息和估计色彩信息。构建模块用于根据所述测量深度信息、所述测量色彩信息、所述估计深度信息和所述估计色彩信息构建所述场景的三维色彩模型。

本发明实施方式的电子装置包括深度相机、可见光相机和处理器。所述深度相机用于采集所述场景的深度图像。所述可见光相机用于采集所述场景的可见光图像。所述处理器用于处理所述深度图像及所述可见光图像以识别所述场景中的遮挡物体及所述遮挡物体的类别，根据所述深度图像指示的测量深度信息、所述可见光图像指示的测量色彩信息及所述类别计算所述遮挡物体的估计深度信息和估计色彩信息，以及根据所述测量深度信息、所述测量色彩信息、所述估计深度信息和所述估计色彩信息构建所述场景的三维色彩模型。

本发明实施方式的一个或多个包含计算可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行上述的三维场景建模方法。

本发明实施方式的计算机设备包括存储器及处理器，所述存储器中存储有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行上述的三维场景建模方法。

本发明实施方式的三维场景建模方法、三维场景建模装置、电子装置、非易失性计算机可读存储介质及计算机设备基于测量到的场景的深度信息、色彩信息以及识别到的遮挡物体的类别三个参数共同预估遮挡物体被遮挡部分的深度信息和色彩信息，从而使场景中遮挡物体被遮挡部分的深度信息和色彩信息得到补充，有利于提升场景的三维建模的完整性。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明某些实施方式的三维场景建模方法的流程示意图。

图2是本发明某些实施方式的三维场景建模装置的模块示意图。

图3是本发明某些实施方式的电子装置的结构示意图。

图4是本发明某些实施方式的三维场景建模方法的流程示意图。

图5是本发明某些实施方式的三维场景建模方法的流程示意图。

图6是本发明某些实施方式的三维场景建模装置的模块示意图。

图7是本发明某些实施方式的三维场景建模装置的拼接模块的模块示意图。

图8是本发明某些实施方式的三维场景建模方法的场景示意图。

图9是本发明某些实施方式的三维场景建模方法的流程示意图。

图10是本发明某些实施方式的三维场景建模方法的流程示意图。

图11是本发明某些实施方式的三维场景建模装置的模块示意图。

图12是本发明某些实施方式的三维场景建模装置的处理单元的模块示意图。

图13是本发明某些实施方式的三维场景建模方法的流程示意图。

图14是本发明某些实施方式的三维场景建模装置的计算模块的模块示意图。

图15是本发明某些实施方式的三维场景建模方法的流程示意图。

图16是本发明某些实施方式的三维场景建模装置的拼接模块的模块示意图。

图17是本发明某些实施方式的计算机设备的模块示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1，本发明提供一种三维场景建模方法。三维场景建模方法包括：

S1：采集场景的深度图像；

S3：采集场景的可见光图像；

S5：处理深度图像及可见光图像以识别场景中的遮挡物体及遮挡物体的类别；

S7：根据深度图像指示的测量深度信息、可见光图像指示的测量色彩信息及类别计算遮挡物体的估计深度信息和估计色彩信息；和

S9：根据测量深度信息、测量色彩信息、估计深度信息和估计色彩信息构建场景的三维色彩模型。

请参阅图2，本发明还提供一种三维场景建模装置10。本发明实施方式的三维场景建模方法可以由本发明实施方式的三维场景建模装置10实现。三维场景建模装置10包括第一采集模块11、第二采集模块13、处理模块15、计算模块17和构建模块19。步骤S1可以由第一采集模块11实现，步骤S3可以由第二采集模块13实现，步骤S5可以由处理模块15实现，步骤S7可以由计算模块17实现，步骤S9可以由构建模块19实现。

也即是说，第一采集模块11可用于采集场景的深度图像。第二采集模块13可用于采集场景的可见光图像。处理模块15可用于处理深度图像及可见光图像以识别场景中的遮挡物体及遮挡物体的类别。计算模块17可用于根据深度图像指示的测量深度信息、可见光图像指示的测量色彩信息及类别计算遮挡物体的估计深度信息和估计色彩信息。构建模块19可用于根据测量深度信息、测量色彩信息、估计深度信息和估计色彩信息构建场景的三维色彩模型。

请参阅图3，本发明还提供一种电子装置100。本发明实施方式的三维场景建模方法还可以由本发明实施方式的电子装置100实现。电子装置100包括深度相机20、可见光相机30和处理器40。步骤S1可以由深度相机20实现。步骤S3可以由可见光相机30实现，步骤S5、步骤S7和步骤S9均可以由处理器40实现。

也即是说，深度相机20可用于采集场景的深度图像。可见光相机30可用于采集场景的可见光图像。处理器40可用于处理深度图像及可见光图像以识别场景中的遮挡物体及遮挡物体的类别，根据深度图像指示的测量深度信息、可见光图像指示的测量色彩信息及类别计算遮挡物体的估计深度信息和估计色彩信息，以及根据测量深度信息、测量色彩信息、估计深度信息和估计色彩信息构建场景的三维色彩模型。

其中，电子装置100可以是智能手机、平板电脑、笔记本电脑、智能穿戴设备(如智能手表、智能手环、智能头盔、智能眼镜等)等。本发明实施方式以电子装置100是手机为例进行说明，可以理解，电子装置100的具体形式也可以是其他，在此不作限制。

深度相机20可以是可见光相机或红外相机。深度相机20为可见光相机时，该可见光相机与另一可见光相机30组成双目立体视觉系统，双目立体视觉系统基于三角测距法测量场景中物体的深度信息。深度相机20为红外相机时，该红外相机与可见光相机30组成双目立体视觉系统，双目立体视觉系统基于三角测距法测量场景中物体的深度信息。

深度相机20也可以是结构光深度相机20。此时，深度相机20包括结构光投射器和红外相机。结构光投射器用于向场景中投射激光散斑，红外相机采集被场景中的物体调制后的激光图案。处理器40基于激光图案及预存的参考图案之间的偏移量即可计算出场景的深度信息。

深度相机20也可以是飞行时间深度相机20。此时，深度相机20包括红外投射器和红外相机。红外投射器用于向场景中发射均匀的红外光，红外相机采集由场景中的物体反射回的红外光。处理器40基于红外光的发射时间点及红外光的接收时间点之间的时间差即可计算场景中物体的深度信息。

现有的三维场景建模的方式通常是先采集场景的多张深度图像和多张可见光图像，再基于深度图像和可见光图像对场景进行三维建模。在对场景进行三维建模时，通常需要对场景中的每一个物体做建模，从而得到多个三维物体模型，多个三维物体模型组成整个场景的三维模型。但在场景的复杂度较高时，例如，场景中的物体繁多，或者物体的放置位置杂乱无章时，即使拍摄了多张深度图像也会出现场景中的物体被部分遮挡的情况。如图8所示，沙发上堆叠放置有两个抱枕，其中一个抱枕的部分区域被另一个抱枕所遮挡。此时，物体被遮挡的部分的深度图像和可见光图像均没办法采集到，则后续做场景的三维建模时就无法建模出完整的三维物体模型，影响场景的三维建模的完整性。

本发明实施方式的三维场景建模方法，处理器40首先控制深度相机20采集目标建模场景的不同拍摄角度的深度图像，并且在深度相机20处于某一拍摄角度采集深度图像时，处理器40同时控制可见光相机30对应采集该拍摄角度下的可见光图像，如此，处理器40可获取到多张深度图像及多张可见光图像，多张深度图像与多张可见光图像一一对应，相对应的深度图像与可见光图像具有相同或相近的视场。随后，处理器40基于深度图像和可见光图像识别出场景中被遮挡的物体，以及该遮挡物体的类别。随后，处理器40再基于实际测得的测量深度信息、测量色彩信息和遮挡物体的类别来计算遮挡物体被遮挡的部分的估计深度信息和估计色彩信息。可以理解，识别出遮挡物体的类别后，可以根据类别的信息大致估计遮挡物体被遮挡部分的形状，而测量深度信息可以用于预估遮挡部分的尺寸的大小，测量色彩信息可以指示预估遮挡部分的色彩分布及构成。那么，根据测量深度信息、形状和预估的尺寸的信息即可预估遮挡部分的深度信息，得到估计深度信息，根据测量色彩信息、形状和预估的色彩分布及构成信息即可预估遮挡部分的色彩信息，得到估计色彩信息。如此，场景中每个遮挡物体被遮挡部分的深度信息和色彩信息均可以被补充完整。最后，处理器40根据测量深度信息、测量色彩信息、估计深度信息和估计色彩信息即可建模出场景的完整的三维色彩模型。

需要说明的是，上述色彩信息包括彩色信息及黑白信息。其中，彩色信息指的是红、黄、蓝、绿等色彩，黑白信息包括黑、白、灰等色彩。

综上，本发明实施方式的三维场景建模方法、三维场景建模装置10及电子装置100基于测量到的场景的深度信息、色彩信息以及识别到的遮挡物体的类别三个参数共同预估遮挡物体被遮挡部分的深度信息和色彩信息，从而使场景中遮挡物体被遮挡部分的深度信息和色彩信息得到补充，有利于提升场景的三维建模的完整性。

请一并参阅图4和图5，在某些实施方式中，本发明实施方式的三维场景建模方法在步骤S5前还包括：

S41：拼接多张深度图像以得到场景的广角深度图像。

其中，步骤S41包括：

S411：确定参考坐标系；

S412：将测量深度信息转换为参考坐标系下的统一化深度信息；和

S413：根据统一化深度信息做深度图像的拼接以得到广角深度图像。

请一并参阅图6和图7，在某些实施方式中，三维场景建模装置10还包括拼接模块14。其中，拼接模块14进一步包括确定单元141、转换单元142和拼接单元143。步骤S41可以由拼接模块14实现。步骤S411可以由确定单元141实现。步骤S412可以由转换单元142实现。步骤S413可以由拼接单元143实现。

也即是说，拼接模块14可用于拼接多张深度图像以得到场景的广角深度图像。确定模块可用于确定参考坐标系。转换单元142可用于将测量深度信息转换为参考坐标系下的统一化深度信息。拼接单元143可用于根据统一化深度信息做深度图像的拼接以得到广角深度图像。

请再参阅图3，在某些实施方式中，步骤S41、步骤S411、步骤S412和步骤S413还可以由处理器40实现。也即是说，处理器40还可用于拼接多张深度图像以得到场景的广角深度图像。其中，处理器40执行步骤S41时，处理器40实际上执行确定参考坐标系，将测量深度信息转换为参考坐标系下的统一化深度信息，以及根据统一化深度信息做深度图像的拼接以得到广角深度图像的操作。

具体地，由于受到深度相机20及可见光相机30的视场角的限制，要构建一个场景的三维色彩模型通常需要采集多张不同拍摄角度下的深度图像和可见光图像。如图8所示的场景为目标构建场景。假设深度相机20和可见光相机30的视场角均为90度，则电子装置100需要采集至少四张不同拍摄角度下的深度图像和至少四张不同拍摄角度下的可见光图像。其中，用户的站位可以是位于场景的中心，也可以位于场景的四周。例如，用户可以手持电子装置100站在场景的点O(位于场景中心位置或中心位置附近)处，在面向A点、面向B点、面向C点和面向D点的站位下分别拍摄至少一张深度图像和至少一张可见光图像；或者，用户可以手持电子装置100站在场景的四周的位置，即分别站在A点、B点、C点和D点的位置处，面向点O，分别拍摄至少一张深度图像和至少一张可见光图像。

在获取到多张深度图像后，处理器40需要确定一个参考坐标系。例如，用户手持电子装置100站在点O处，在面向A点、面向B点、面向C点和面向D点的站位下分别采集到深度图像A1、深度图像B1、深度图像C1和深度图像D1，并分别采集到对应各幅深度图像的可见光图像A2、可见光图像B2、可见光图像C2和可见光图像D2，那么处理器40首先确定一个参考坐标系，例如，以场景的点O为原点(其中，点O可以通过处理可见光图像识别得到)，构建一个参考坐标系x-y-z，其中，可以以x-z平面为基准，场景中某一点M的坐标(x,y,z)中(x,z)表示点M在x-z面上的投影位置点，y表示M点与x-z平面的垂直距离。坐标(x,y,z)可以表示M点在场景中的相对于参考坐标系的原点O的位置信息，还指示了M点在参考坐标系下的统一化深度信息，具体地，y可理解为点M在参考坐标系下的统一化深度信息。

对于每一张深度图像，均具有一个像素坐标系u-v(即以深度相机20的传感器阵列的左上角顶点为原点，u轴和v轴分别平行于传感器阵列的两条垂直边)，像素的坐标(u,v)，每一个像素(u,v)对应场景中的某一物体的某一区域。每一个像素(u,v)都对应有一个测量深度信息。每一个测量深度信息指示的是对应于像素(u,v)的物体的区域与电子装置100的距离。此时，可以在像素坐标系的基础上增加深度信息的内容，即像素坐标系变为u-v-d，每一个像素的坐标变为(u,v,d)，其中，d表示的是测量深度信息。随后，处理器40基于点O与电子装置100的位置关系，计算参考坐标系x-y-z与像素坐标系u-v-d之间的旋转矩阵和平移矩阵。随后，处理器40再根据旋转矩阵和平移矩阵将坐标(u,v,d)转换为(x,y,z)。处理器40通过上述的处理流程即可将测量深度信息d准换为统一化深度信息y。

对于不同视角下拍摄深度图像，处理器40需要根据电子装置100当前所处位置与点O之间的距离关系来重新计算参考坐标系x-y-z与像素坐标系u-v-d之间的旋转矩阵和平移矩阵，再基于与该视角下拍摄的深度图像对应的旋转矩阵和平移矩阵将(u,v,d)转换为(x,y,z)，从而实现测量深度信息与统一化深度信息的转换。

随后，处理器40可以根据统一化的深度信息将多张深度图像进行拼接以得到广角深度图像。具体地，在将测量深度信息转换为统一化深度信息后，多张深度图位于一个统一的参考坐标系下，每一张深度图像的一个像素点对应一个坐标(x,y,z)，那么可以通过坐标匹配做深度图像的拼接。例如，在深度图像A1中某一个像素点P1的坐标为(x0,y0,z0)，在深度图像A2中某一个像素点P2的坐标(x0,y0,z0)，由于P1和P2在当前的参考坐标系下具有相同的坐标值，则说明像素点P1与像素点P2实际上为同一个点，深度图像A1和深度图像A2拼接时，像素点P1需要和像素点P2重合。如此，处理器40即可通过坐标的匹配关系进行深度图像的拼接，并得到广角深度图像，广角深度图像指示了整个场景的统一化深度信息。

需要说明的是，基于坐标的匹配关系进行深度图像的拼接要求深度图像的分辨率需要大于一个预设分辨率。可以理解，如果深度图像的分辨率较低，则坐标(x,y,z)的精确度也会相对较低，此时，直接根据坐标进行匹配，可能出现P1点和P2点实际上没有重合，而是相差一个偏移量offset，且offset的值超过误差界限值的问题。如果图像的分辨率较高，则坐标(x,y,z)的精确度也会相对较高，此时，直接根据坐标进行匹配，即使P1点和P2点实际上没有重合，相差一个偏移量offset，但offset的值也会小于误差界限值，即处于误差允许的范围内，不会对深度图像的拼接造成太大影响。

请再参阅图4，在拼接完深度图像后，在某些实施方式中，本发明实施方式的三维场景建模方法在步骤S5前还包括：

S42：拼接多张可见光图像以得到场景的广角可见光图像。

请再参阅图6，步骤S42也可以由拼接模块14实现。也即是说，拼接模块14还用于拼接多张可见光图像以得到场景的广角可见光图像。

请再参阅图3，步骤S42还可以由处理器40实现。也即是说，处理器40还可以用于拼接多张可见光图像以得到场景的广角可见光图像。

可以理解，由于每张深度图像对应一张可见光图像，例如上述例子中的深度图像A1对应可见光图像A2，深度图像B1对应可见光图像B2，深度图像C1对应可见光图像C2，深度图像D1对应可见光图像D2。那么，进一步地，以深度图像A1和深度图像B1的拼接为例，在深度图像A1和深度图像B1的拼接过程中，深度图像中的部分像素点P1与深度图像B2的部分像素点P2是重合的，则可见光图像的拼接依据深度图像拼接过程中像素点的匹配信息来进行可见光图像中像素点的匹配，从而实现可见光图像的拼接。

具体地，以拼接可见光图像A2和可见光图像B2为例。由于深度相机20与可见光相机30之间具有一定的相对位置，也即是说，深度相机20的视场与可见光相机30的视场不是完全重合的。此时，处理器40需要对每一组具有关联关系的深度图像和可见光图像做对齐，并得到对齐后的修正可见光图像，修正可见光图像的像素点与深度图像的像素点一一对应。随后，处理器40基于深度图像A1和深度图像B1的像素对应关系，对修正可见光图像A2’和修正可见光图像B2’做拼接，即可得到广角可见光图像。广角可见光图像指示了整个场景的测量深度信息。

当然，在某些实施方式中，处理器40也可以先拼接可见光图像，再基于可见光图像中像素点的对应关系，进行深度图像的拼接。其中，处理器40可通过特征匹配来进行可见光图像的拼接。具体地，首先，处理器40先对每一组具有关联关系的深度图像和可见光图像做对齐。随后，处理器40根据平均结构相似度(Mean Structural Similarity Index,MSSIM)确定可见光图像的配准参数。平均结构相似度分别从亮度、对比度、结构这三个方面来衡量图像的相似性。假设A2和B2是要进行相似度评判的两幅可见光图像，则它们之间的亮度、对比度、结构这三个方面的相似性表达式分别如下：

其中，μ_A2和μ_B2分别表示可见光图像A2和可见光图像B2的均值，σ_A2和σ_B2分别表示可见光图像A2和可见光图像B2的方差，σ_A2B2表示可见光图像A2和可见光图像B2的协方差。C₁、C₂、C₃为常数。

平均结构相似度SSIM的表达式为：SSIM(A2,B2)＝l(A2,B2)×c(A2,B2)×s(A2,B2)。SSIM的取值范围为[0,1]，取值越大，则可见光图像A2和可见光图像B2的失真越小，相似度越高。

在选定配准参数后，处理器40即可基于配准参数对可见光图像A2和可见光图像B2做拼接，在拼接完全部可见光图像后即可得到广角可见光图像。进一步地，处理器40可基于可见光图像A2和可见光图像B2的像素对应关系，拼接深度图像A1和深度图像B1，在拼接完全部的可见光图像后即可得到广角深度图像。

请一并参阅图9和图10，在某些实施方式中，在拼接完深度图像和可见光图像之后，步骤S5处理深度图像及可见光图像以识别场景中的遮挡物体及遮挡物体的类别包括：

S51：处理广角深度图像及广角可见光图像以识别场景中的遮挡物体及遮挡物体的类别。

其中，步骤S51进一步包括：

S511：处理广角深度图像及广角可见光图像以提取出遮挡物体；和

S512：从包括多个类别的二维物体模型的二维物体模型库中寻找与遮挡物体对应的二维物体模型，二维物体模型的类别即为遮挡物体的类别。

请一并参阅图11和图12，在某些实施方式中，处理模块15包括处理单元151。进一步地，处理单元151包括处理子单元1511和寻找子单元1512。步骤S51可以由处理单元151实现。步骤S511可以由处理子单元1511实现。步骤S512可以由寻找子单元1512实现。也即是说，处理单元151可用于处理广角深度图像及广角可见光图像以识别场景中的遮挡物体及遮挡物体的类别。处理子单元1511可用于处理广角深度图像及广角可见光图像以提取出遮挡物体。寻找子单元1512可用于从包括多个类别的二维物体模型的二维物体模型库中寻找与遮挡物体对应的二维物体模型，二维物体模型的类别即为遮挡物体的类别。

请再参阅图3，在某些实施方式中，步骤S51、步骤S511和步骤S512均可以由处理器40实现。也即是说，处理器40还可用于处理广角深度图像及广角可见光图像以识别场景中的遮挡物体及遮挡物体的类别。处理器40执行步骤S51时，处理器40实际上执行处理广角深度图像及广角可见光图像以提取出遮挡物体，从包括多个类别的二维物体模型的二维物体模型库中寻找与遮挡物体对应的二维物体模型，二维物体模型的类别即为遮挡物体的类别的操作。

其中，二维物体模型库存储在电子装置100的存储元件50中。二维物体模型库中具有多种类别的二维物体模型，例如，二维沙发模型，二维花瓶模型，二维方形时钟模型，二维圆形时钟模型等。二维物体模型库中的二维物体模型可以通过前期采集大量的二维图像信息得到。需要说明的是，此处的类别由种类、形状和色彩三者共同定义。举例来说，二维物体模型可以包括二维沙发模型、二维时钟模型等。其中，二维沙发模型和二维时钟模型的数量并不是唯一的，还会基于形状和颜色的改变进行对应的二维模型的存储。例如，二维时钟模型可以包括白色圆形时钟、蓝色圆形时钟、彩色方形时钟、绿色方形时钟等等。

具体地，处理器40首先利用边缘检测算法提取出广角可见光图像的轮廓信息，并基于广角深度图像指示的统一化深度信息对可见光图像的轮廓信息进行优化以使轮廓信息的精确度更高，随后，处理器40基于轮廓信息对可见光图像进行分割以提取出多个物体。进一步地，处理器40基于统一化深度信息判断每个物体的深度信息是否完整，若某一个物存在深度信息的缺失，则认为该物体受到遮挡，即该物体为遮挡物体。随后，处理器40通过特征匹配的方式在二维物体模型库中寻找与该遮挡物体对应的二维物体模型，并把找到的二维物体模型的类别作为遮挡物体的类别，如此，即可定出该遮挡物体的类别。

处理器40借助了广角深度图像的信息对可见光图像的轮廓信息进行优化，提升了场景中的物体提取的准确性。另外，处理器40从二维物体模型库中查找与遮挡物体对应的二维物体模型，可以提升遮挡物体的类别识别的准确性，有利于后续的遮挡部分的深度信息及色彩信息的计算。

请参阅图13，在某些实施方式中，步骤S7根据深度图像指示的测量深度信息、可见光图像指示的测量色彩信息及类别计算遮挡物体的估计深度信息和估计色彩信息包括：

S71：根据统一化深度信息及类别获取遮挡物体的尺寸信息；

S72：在包括多个三维物体建模方法的三维物体建模方法库中寻找与遮挡物体的类别对应的三维物体建模方法，多个三维物体建模方法与多个二维物体模型一一对应；

S73：根据尺寸信息、统一化深度信息对应的坐标信息及三维物体建模方法计算遮挡物体的估计深度信息；和

S74：根据遮挡物体的测量色彩信息及与遮挡物体对应的二维物体模型计算遮挡物体的估计色彩信息。

请参阅图14，在某些实施方式中，计算模块17包括获取单元171、寻找单元172、第一计算单元173和第二计算单元174。步骤S71可以由获取单元171实现。步骤S72可以由寻找单元172实现。步骤S73可以由第一计算单元173实现。步骤S74可以由第二计算单元174实现。

也即是说，获取单元171可用于根据统一化深度信息及类别获取遮挡物体的尺寸信息及相对于参考坐标系的坐标信息。寻找单元172可用于在包括多个三维物体建模方法的三维物体建模方法库中寻找与遮挡物体的类别对应的三维物体建模方法，多个三维物体建模方法与多个二维物体模型一一对应。第一计算单元173可用于根据尺寸信息、统一化深度信息对应的坐标信息及三维物体建模方法计算遮挡物体的估计深度信息。第二计算单元174可用于根据遮挡物体的测量色彩信息及与遮挡物体对应的二维物体模型计算遮挡物体的估计色彩信息。

请再参阅图3，在某些实施方式中，步骤S71、步骤S72、步骤S73和步骤S74均可以由处理器40实现。也即是说，处理器40还可用于根据统一化深度信息及类别获取遮挡物体的尺寸信息及相对于参考坐标系的坐标信息，在包括多个三维物体建模方法的三维物体建模方法库中寻找与遮挡物体的类别对应的三维物体建模方法，多个三维物体建模方法与多个二维物体模型一一对应，根据尺寸信息、统一化深度信息对应的坐标信息及三维物体建模方法计算遮挡物体的估计深度信息，根据遮挡物体的测量色彩信息及与遮挡物体对应的二维物体模型计算遮挡物体的估计色彩信息。

其中，三维物体建模方法库存储在电子装置100的存储元件50中。三维物体模型库中包括多种类别的物体的建模方法，每种类别的物体的建模方法均是前期通过提取现实场景中物体的特征，并基于特征做建模后总结得到的建模方法。其中，每种建模方法可以对应同一种类、同一形状、同一颜色的物体，或者，每种建模方法对应同一种类、同一形状、不同颜色的物体。

具体地，在识别出遮挡物体及遮挡物体的类别后，处理器40可根据遮挡物体的类别确定遮挡物体的顶角位置、形状等，进一步地，基于x-y-z参考坐标系下的遮挡物体的多个坐标信息(x,y,z)及顶角位置、形状等信息确定出遮挡物体的尺寸信息，例如，基于顶角位置对应的坐标信息计算出物体的长度、宽度、高度等。随后，处理器40基于遮挡物体的类别从三维物体建模方法库中寻找与该遮挡物体对应的三维物体建模方法。随后，处理器40基于尺寸信息、统一化深度信息对应的坐标信息及三维物体建模方法对遮挡物体被遮挡部分的深度信息进行计算，得到估计深度信息。计算过程中，处理器40可以基于尺寸信息及坐标信息估计被遮挡部分的坐标信息，被遮挡部分的坐标信息中即包含了估计深度信息。另外，处理器40还可以根据遮挡物体的测量色彩信息及与遮挡物体对应的二维物体模型对遮挡物体被遮挡部分的色彩信息进行计算，得到估计色彩信息。可以理解，二维物体模型指示了物体的色彩信息，在遮挡物体与二维物体模型匹配后，可基于二维物体模型指示的色彩信息对遮挡物体被遮挡部分的色彩做估计。

如此，即可对遮挡物体被遮挡部分的深度信息和色彩信息做补充，从而得到整个场景的完整的深度信息和色彩信息。

请参阅图15，在某些实施方式中，步骤S9根据测量深度信息、测量色彩信息、估计深度信息和估计色彩信息构建场景的三维色彩模型包括：

S91：根据统一化深度信息及估计深度信息构建场景的三维模型；和

S92：根据测量色彩信息及估计色彩信息对三维模型进行贴图以得到三维色彩模型。

请参阅图16，在某些实施方式中，构建模块19包括构建单元191和贴图单元192。步骤S91可以由构建单元191实现。步骤S92可以由贴图单元192实现。也即是说，构建单元191可用于根据统一化深度信息及估计深度信息构建场景的三维模型。贴图单元192可用于根据测量色彩信息及估计色彩信息对三维模型进行贴图以得到三维色彩模型。

请再参阅图3，在某些实施方式中，步骤S91和步骤S92还可以由处理器40实现。也即是说，处理器40还可用于根据统一化深度信息及估计深度信息构建场景的三维模型，以及根据测量色彩信息及估计色彩信息对三维模型进行贴图以得到三维色彩模型。

具体地，在获取到统一化深度信息和估计深度信息后，处理器40可基于完整的场景的深度信息做场景的三维建模。统一化深度信息和估计深度信息均以参考坐标系x-y-z作为参考，实际上，统一化深度信息和估计深度信息对应的多个坐标信息可以理解为三维建模所需的点云。处理器40基于多个点云生成多个三角网格，其中，三角网格中的多个三角形的形状和面积相近。如此，将多个点云进行连接即可形成场景的三维模型，点云连接后形成的三角网格可以模拟三维模型的表面。进一步地，还需要对三维模型进行色彩渲染。处理器40可基于测量色彩信息和估计色彩信息对三维模型做贴图处理，具体地，将可见光图像上与每个三角网格对应的色彩信息映射到三角网格上，即可实现三维模型的贴图，最终得到场景的三维色彩模型。

在某些实施方式中，处理器在拼接多张深度图像得到广角深度图像后，可以不做可见光图像的拼接处理，而是直接基于广角深度图像、多张可见光图像执行遮挡物体的提取和识别、估计深度信息和估计色彩信息的计算的操作，在后续对三维模型贴图时，直接基于多张可见光图像指示的测量色彩信息及计算得到的估计色彩信息对三维模型做贴图，最终得到场景的三维色彩模型。

在某些实施方式中，处理器也可直接基于深度图像和可见光图像执行遮挡物体的提取和识别、估计深度信息和估计色彩信息的计算的操作，后续再基于测量深度信息和估计深度信息做深度图像的拼接、基于测量色彩信息和估计色彩信息做可见光图像的拼接，最后基于广角深度图像做三维模型的构建，基于广角可见光图像做三维模型的贴图，最终得到场景的三维色彩模型。

在某些实施方式中，处理器也可直接基于深度图像和可见光图像执行遮挡物体的提取和识别、估计深度信息和估计色彩信息的计算的操作，后续再基于测量深度信息和估计深度信息做深度图像的拼接得到广角深度图像，最后基于广角深度图像做三维模型的构建，基于多张可见光图像做三维模型的贴图，最终得到场景的三维色彩模型。

请参阅图17，本发明还提供一种计算机设备200。计算机设备200包括处理器210和存储器220。存储器中220存储有计算机可读指令230。当计算机可读指令被处理器220执行时，处理器220可以执行上述任意一项实施方式所述的三维场景建模方法。

计算机设备200可以是上述任意一项实施方式所述的电子装置100。此时，处理器210可为处理器40，存储器220可为存储元件50。计算机可读指令230可存储在存储元件50中。

例如，当指令被处理器210执行时，处理器210可以执行以下步骤：

控制深度相机20采集场景的深度图像；

控制可见光相机30采集场景的可见光图像；

处理深度图像及可见光图像以识别场景中的遮挡物体及遮挡物体的类别；

根据深度图像指示的测量深度信息、可见光图像指示的测量色彩信息及类别计算遮挡物体的估计深度信息和估计色彩信息；和

根据测量深度信息、测量色彩信息、估计深度信息和估计色彩信息构建场景的三维色彩模型。

再例如，当指令被处理器210执行时，处理器210还可以执行以下步骤：

确定参考坐标系；

将测量深度信息转换为参考坐标系下的统一化深度信息；和

根据统一化深度信息做深度图像的拼接以得到广角深度图像。

本发明还提供一个或多个包含计算机可执行指令的非易失性计算机可读存储介质。当计算机可执行指令被一个或多个处理器210执行时，使得处理器210执行上述任意一项实施方式所述的三维场景建模方法。

例如，当计算机可执行指令被一个或多个处理器210执行时，使得处理器210可以执行以下步骤：

控制深度相机20采集场景的深度图像；

控制可见光相机30采集场景的可见光图像；

处理深度图像及可见光图像以识别场景中的遮挡物体及遮挡物体的类别；

根据深度图像指示的测量深度信息、可见光图像指示的测量色彩信息及类别计算遮挡物体的估计深度信息和估计色彩信息；和

根据测量深度信息、测量色彩信息、估计深度信息和估计色彩信息构建场景的三维色彩模型。

再例如，当计算机可执行指令被一个或多个处理器210执行时，使得处理器210还可以执行以下步骤：

确定参考坐标系；

将测量深度信息转换为参考坐标系下的统一化深度信息；和

根据统一化深度信息做深度图像的拼接以得到广角深度图像。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (17)

1.一种三维场景建模方法，其特征在于，所述三维场景建模方法包括：

采集所述场景的深度图像；

采集所述场景的可见光图像；

处理所述深度图像及所述可见光图像以识别所述场景中的遮挡物体及所述遮挡物体的类别；

根据所述深度图像指示的测量深度信息、所述可见光图像指示的测量色彩信息及所述类别计算所述遮挡物体的估计深度信息和估计色彩信息；具体包括：根据统一化深度信息及类别获取遮挡物体的尺寸信息，其中统一化深度信息为测量深度信息转换的在参考坐标系下的深度信息；在包括多个三维物体建模方法的三维物体建模方法库中寻找与遮挡物体的类别对应的三维物体建模方法，多个三维物体建模方法与多个二维物体模型一一对应；根据尺寸信息、统一化深度信息对应的坐标信息及三维物体建模方法计算遮挡物体的估计深度信息；根据遮挡物体的测量色彩信息及与遮挡物体对应的二维物体模型计算遮挡物体的估计色彩信息；

和

根据所述测量深度信息、所述测量色彩信息、所述估计深度信息和所述估计色彩信息构建所述场景的三维色彩模型。

2.根据权利要求1所述的三维场景建模方法，其特征在于，所述深度图像包括多张，多张所述深度图像具有不同的拍摄角度，所述三维场景建模方法在所述处理所述深度图像及所述可见光图像以识别所述场景中的遮挡物体及所述遮挡物体的类别的步骤前还包括：

拼接多张所述深度图像以得到所述场景的广角深度图像。

3.根据权利要求2所述的三维场景建模方法，其特征在于，所述拼接多张所述深度图像以得到所述场景的广角深度图像包括：

确定参考坐标系；

将所述测量深度信息转换为所述参考坐标系下的统一化深度信息；和

根据所述统一化深度信息做所述深度图像的拼接以得到所述广角深度图像。

4.根据权利要求2所述的三维场景建模方法，其特征在于，所述可见光图像包括多张，多张所述可见光图像具有不同的拍摄角度，多张所述可见光图像与多张所述深度图像一一对应，所述三维场景建模方法在所述处理所述深度图像及所述可见光图像以识别所述场景中的遮挡物体及所述遮挡物体的类别的步骤前还包括：

拼接多张所述可见光图像以得到所述场景的广角可见光图像。

5.根据权利要求4所述的三维场景建模方法，其特征在于，所述处理所述深度图像及所述可见光图像以识别所述场景中的遮挡物体及所述遮挡物体的类别的步骤包括：

处理所述广角深度图像及所述广角可见光图像以识别所述场景中的遮挡物体及所述遮挡物体的类别。

6.根据权利要求5所述的三维场景建模方法，其特征在于，所述处理所述广角深度图像及所述广角可见光图像以识别所述场景中的遮挡物体及所述遮挡物体的类别的步骤包括：

处理所述广角深度图像及所述广角可见光图像以提取出所述遮挡物体；和

从包括多个类别的二维物体模型的二维物体模型库中寻找与所述遮挡物体对应的二维物体模型，所述二维物体模型的类别即为所述遮挡物体的类别。

7.根据权利要求3所述的三维场景建模方法，其特征在于，所述根据所述测量深度信息、所述测量色彩信息、所述估计深度信息和所述估计色彩信息构建所述场景的三维色彩模型的步骤包括：

根据所述统一化深度信息及所述估计深度信息构建所述场景的三维模型；和

根据所述测量色彩信息及所述估计色彩信息对所述三维模型进行贴图以得到所述三维色彩模型。

8.一种三维场景建模装置，其特征在于，所述三维场景建模装置包括：

第一采集模块，用于采集所述场景的深度图像；

第二采集模块，用于采集所述场景的可见光图像；

处理模块，用于处理所述深度图像及所述可见光图像以识别所述场景中的遮挡物体及所述遮挡物体的类别；

计算模块，用于根据所述深度图像指示的测量深度信息、所述可见光图像指示的测量色彩信息及所述类别计算所述遮挡物体的估计深度信息和估计色彩信息；具体包括：根据统一化深度信息及类别获取遮挡物体的尺寸信息，其中统一化深度信息为测量深度信息转换的在参考坐标系下的深度信息；在包括多个三维物体建模方法的三维物体建模方法库中寻找与遮挡物体的类别对应的三维物体建模方法，多个三维物体建模方法与多个二维物体模型一一对应；根据尺寸信息、统一化深度信息对应的坐标信息及三维物体建模方法计算遮挡物体的估计深度信息；根据遮挡物体的测量色彩信息及与遮挡物体对应的二维物体模型计算遮挡物体的估计色彩信息；

和

构建模块，用于根据所述测量深度信息、所述测量色彩信息、所述估计深度信息和所述估计色彩信息构建所述场景的三维色彩模型。

9.一种电子装置，其特征在于，所述电子装置包括：

深度相机，所述深度相机用于采集场景的深度图像；

可见光相机，所述可见光相机用于采集所述场景的可见光图像；和

处理器，所述处理器用于：

处理所述深度图像及所述可见光图像以识别所述场景中的遮挡物体及所述遮挡物体的类别；

根据所述深度图像指示的测量深度信息、所述可见光图像指示的测量色彩信息及所述类别计算所述遮挡物体的估计深度信息和估计色彩信息；具体包括：根据统一化深度信息及类别获取遮挡物体的尺寸信息，其中统一化深度信息为测量深度信息转换的在参考坐标系下的深度信息；在包括多个三维物体建模方法的三维物体建模方法库中寻找与遮挡物体的类别对应的三维物体建模方法，多个三维物体建模方法与多个二维物体模型一一对应；根据尺寸信息、统一化深度信息对应的坐标信息及三维物体建模方法计算遮挡物体的估计深度信息；根据遮挡物体的测量色彩信息及与遮挡物体对应的二维物体模型计算遮挡物体的估计色彩信息；

和

根据所述测量深度信息、所述测量色彩信息、所述估计深度信息和所述估计色彩信息构建所述场景的三维色彩模型。

10.根据权利要求9所述的电子装置，其特征在于，所述深度图像包括多张，多张所述深度图像具有不同的拍摄角度，所述处理器还用于：

拼接多张所述深度图像以得到所述场景的广角深度图像。

11.根据权利要求10所述的电子装置，其特征在于，所述处理器还用于：

确定参考坐标系；

将所述测量深度信息转换为所述参考坐标系下的统一化深度信息；和

根据所述统一化深度信息做所述深度图像的拼接以得到所述广角深度图像。

12.根据权利要求10所述的电子装置，其特征在于，所述可见光图像包括多张，多张所述可见光图像具有不同的拍摄角度，多张所述可见光图像与多张所述深度图像一一对应，所述处理器还用于：

拼接多张所述可见光图像以得到所述场景的广角可见光图像。

13.根据权利要求10所述的电子装置，其特征在于，所述处理器还用于：

处理所述广角深度图像及所述广角可见光图像以识别所述场景中的遮挡物体及所述遮挡物体的类别。

14.根据权利要求13所述的电子装置，其特征在于，所述处理器还用于：

处理所述广角深度图像及广角可见光图像以提取出所述遮挡物体；和

从包括多个类别的二维物体模型的二维物体模型库中寻找与所述遮挡物体对应的二维物体模型，所述二维物体模型的类别即为所述遮挡物体的类别。

15.根据权利要求11所述的电子装置，其特征在于，所述处理器还用于：

根据所述统一化深度信息及所述估计深度信息构建所述场景的三维模型；和

根据所述测量色彩信息及所述估计色彩信息对所述三维模型进行贴图以得到所述三维色彩模型。

16.一个或多个包含计算可执行指令的非易失性计算机可读存储介质，其特征在于，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行权利要求1至7任意一项所述的三维场景建模方法。

17.一种计算机设备，其特征在于，包括存储器及处理器，所述存储器中存储有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行权利要求1至7任意一项所述的三维场景建模方法。

Images