CN106846456A - 一种室内3d框架图的生成方法及系统 - Google Patents

Abstract

本发明公开一种室内3D框架图的生成方法及系统，该方法包括获取室内的深度图像；提取所述深度图像的深度值，根据所述深度值构建与所述深度图像对应的3D框架图；其中，所述3D框架图表征有室内的至少部分物体的3D形状。根据本方法获得的3D框架图中包含了深度图像的框架信息和至少部分物体信息，使用框架的形式将这些信息表示在3D框架图中，能够大大减少图片的数据量，有效节省内存。

Description

一种室内3D框架图的生成方法及系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种室内3D框架图的生成方法及系统。

背景技术

随着信息技术的发展，传统的机器视觉已经不能满足人们对三维物体识别的要求，与灰度图像相比，深度图像具有物体三维特征信息，及深度信息。由于深度图像不受光源照射方向及物体表面的发射特征的影响，而且不存在阴影，所以可以更准确地表物体表面的三维深度信息。

因此，深度图像也具有较大的数据量，在很多应用场景中意味着深度图像需要占用较大内存，且在很多应用中由于数据量较大而导致应用过程需要较长的时间。

发明内容

本发明的目的在于提供一种室内3D框架图的生成方法及系统，能够表示出室内物体及框架的同时减少数据量，节省内存。

为实现上述目的，本发明提供一种室内3D框架图的生成方法，该方法包括：

获取室内的深度图像；

提取所述深度图像的深度值，根据所述深度值构建与所述深度图像对应的3D框架图；

其中，所述3D框架图表征有室内的至少部分特征目标的3D形状。

其中，所述3D框架图中表征的特征目标由网格构成。

其中，所述提取所述深度图像的深度值，根据所述深度值构建与所述深度图像对应的3D框架图，包括：

提取所述深度图像中的深度值呈规则变化的平面和/或线条；

以所述平面和/或线条构建与所述深度图像对应的3D框架图。

其中，所述获取室内的深度图像包括：

获取室内的至少连续两帧深度图像；

在所述获取室内的至少连续两帧深度图像之后，还包括：

获取所述至少两帧深度图像之间的视角变化量和位移变化量。

其中，所述提取所述深度图像的深度值，根据所述深度值构建与所述深度图像对应的3D框架图包括：

提取所述至少连续两帧深度图像的深度值；

根据所述深度值构建与所述至少连续两帧深度图像各自对应的3D框架图；

根据所述视角变化量、位移变化量以及所述各自对应的3D框架图构建所述至少连续两帧深度图像对应的3D框架图。

其中，所述提取所述深度图像的深度值，根据所述深度值构建与所述深度图像对应的3D框架图包括：

根据所述视角变化量、位移变化量以及所述至少联系两帧深度图像形成总深度图像；

提取所述总深度图像的深度值；

根据所述总深度图像的深度值构建与所述总深度图像对应的3D框架图。

其中，在所述根据所述深度值构建与所述深度图像对应的3D框架图之后，包括：

确定所述深度图像中已标识的标志物；

判断所述3D框架图中表征的特征目标中是否存在所述标志物；

若是，则在所述3D框架图中对所述表征的特征目标进行标记。

其中，还包括：

若所述3D框架图中表征的特征目标中不存在所述标志物；

则在所述3D框架图中与所述标志物的位置相同处标示出所述标志物。

另一方面，本发明提出了一种室内3D框架图的生成系统，该生成系统包括：

图像获取模块，用获取室内的深度图像；

框架图构建模块，用于提取所述深度图像的深度值，根据所述深度值构建与所述深度图像对应的3D框架图；

其中，所述3D框架图表征有室内的至少部分特征目标的3D形状。

其中，所述框架图构建模块，包括：

深度值提取单元，用于提取所述深度图像中的深度值呈规则变化的平面和/或线条；

图像构建单元，用于以所述平面和/或线条构建与所述深度图像对应的3D框架图。

有益效果：区别于现有技术的情况，本发明通过获取室内的深度图像；提取所述深度图像的深度值，根据所述深度值构建与所述深度图像对应的3D框架图；其中，所述3D框架图表征有室内的至少部分特征目标的3D形状。根据本方法获得的3D框架图中包含了深度图像的框架信息和至少部分特征目标信息，使用框架的形式将这些信息表示在3D框架图中，能够大大减少图片的数据量，有效节省内存。

附图说明

图1是本发明室内3D框架图的生成方法第一实施例的流程示意图；

图2是图1所示的生成方法第一实施例中的步骤S102的一种实施方式的流程示意图；

图3a是室内3D地图的示意图；

图3b是根据图3a所示的3D地图构建的3D框架图的示意图；

图4是本发明室内3D框架图的生成方法第二实施例的流程示意图；

图5是本发明室内3D框架图的生成方法第三实施例的流程示意图；

图6是本发明室内3D框架图的生成方法第四实施例的流程示意图；

图7是本发明室内3D框架图的生成系统第一实施例的功能模块图；

图8是图7所示的生成系统第一实施例的框架图构建模块的功能模块图；

图9是本发明室内3D框架图的生成系统第二实施例的功能模块图；

图10是本发明室内3D框架图的生成系统第三实施例的功能模块图；

图11是本发明室内3D框架图的生成系统第四实施例的功能模块图。

具体实施方式

为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明所提供的一种室内3D框架图的生成方法及系统做进一步详细描述。

参照图1，图1是本发明室内3D框架图的生成方法第一实施例的流程示意图，该生成方法包括如下步骤：

S101、获取室内的深度图像。

深度图像包含了特征目标的色彩信息和深度信息，能够准确的表示特征目标表面的三维深度信息。通过获取室内的深度图像，能够从该深度图像中获取特征目标的几何形状。

本实施例中，通过深度相机拍摄获取深度图像。深度相机即为深度成像传感器，该深度成像传感器可以为主动式或被动式。其中，主动式深度成像传感器主要是向目标发射能量束(激光、电磁波或超声波)，并检测其回波；而被动式深度成像传感器主要利用周围环境条件成像。

由于拍摄的深度图像已经包含了特征目标的深度信息，则可以从深度图像中直接获取特征目标的深度值。

S102、提取深度图像的深度值，根据深度值构建与深度图像对应的3D框架图。

深度图像的深度值即为深度图像中像素点到深度相机之间的距离。从深度图像中能够获得深度图像中像素点的深度信息。根据深度图像中的深度值能够得到深度图像中特征目标的几何形状。

从深度图像中提取深度值，根据深度值的变化构建出与该深度图像对应的3D框架图。该3D框架图能够利用平面和/或线条表征出深度图像中特征目标的几何形状。其中，构建的3D框架图表征有室内的至少部分特征目标；特征目标为深度图像中包含的物体，例如，墙面、柱子、横梁、窗户、门等，可选的，特征目标为深度图像中包含的具有规则几何形状的物体，如墙面、圆柱、四面的方柱等。

进一步的，为了使物体在构建的3D框架图中被表征得更加清楚，使用网格的方式构建3D框架图中表征的物体，使用户能够清晰的看出表征的物体的几何形状。因此，本实施例中构建的3D框架图也为3D框架网格图。

本实施例中，通过获取的深度值构建出与深度图像对应的3D框架图，并表征出深度图像中的至少部分特征目标；在较完整的反应出室内环境的同时，能够大大减少图片的数据量，减少内存。

进一步的，如图2所示，步骤S102包括以下步骤：

S1021、提取深度图像中的深度值呈规则变化的平面和/或线条。

由于在3D框架图中表征的特征目标为深度图像中包含的具有规则几何形状的物体，则对应深度图像中具有规则几何形状的物体来提取深度值。在深度图像中，具有规则几何形状的物体的深度值变化为规则的，则提取深度值具体为，提取深度图像中深度值呈规则变化的平面和/或线条，例如平整的墙面，由于深度图像中墙面上的像素点到深度相机之间的距离的规则变化的，则提取该墙面对应的平面和/或该墙面的四边的线条。

本实施例中，只有深度图像中深度值呈规则变化的平面和/或线条被提取且表征到构建的3D框架图中，被提取的平面和/或线条能够表征出相应特征目标的几何形状。其中，规则变化包括线性变化。深度图像中的深度值呈不规则变化的平面和/或线条则被忽略，即对应忽略了这些平面和/或线条对应的物体，例如深度图像中能够看到的椅子、花盆、墙面上的灯开关等。

S1022、以该平面和/或线条构建与深度图像对应的3D框架图。

根据步骤S1021中提取出的平面和/或线条构建出深度图像中具有规则几何形状的特征目标的3D形状，进而构建与深度图像对应的3D框架图。在构建的3D框架图中仅仅表征了深度图像对应的室内的具有规则几何形状的特征目标。

如图3a至3b所示，图3a是室内3D地图的示意图，图3b为根据图3a所示的3D地图的示意图构建的3D框架图的示意图。如图3a所示，室内的3D地图包括了柜子、柜子上摆放的各类物品、办公桌、办公桌之间的隔板、办公椅以及办公桌上放置的各类物品，再根据图3a所示的3D地图构建3D框架图时，由于柜子上摆放的各类物品、办公椅以及办公桌上放置的各类物品的空间坐标呈不规则变化，柜子、办公桌以及办公桌之间的隔板的空间坐标呈规则变化，因此将柜子上摆放的各类物品、办公椅以及办公桌上放置的各类物品忽略，提取构成柜子、办公桌以及办公桌之间的隔板的平面和/或线条，以构建柜子、办公桌以及办公桌之间的隔板的3D框架，从而构建与图3a所示的3D地图对应的3D框架图。可以理解的是，图3a所示的室内3D地图中柜子上绘制的长方体仅仅用于对放置在柜子上的各类物品进行表示，不表示放置在柜子上的各类物品的形状为长方体。

进一步的，由于深度图像在进行拍摄时具有自身的姿态视角，则构建的与深度图像对应的3D框架图的姿态视角与深度图像的姿态视角一致。

进一步的，请参阅图4，图1是本发明室内3D框架图的生成方法第二实施例的流程示意图，该生成方法包括如下步骤：

S201、获取室内的深度图像。

S202、提取深度图像的深度值，根据深度值构建与深度图像对应的3D框架图。

本实施例中，步骤S201和S202分别与图1和图2所示的生成方法第一实施例的步骤S101和S102相同，此处不再赘述。

S203、确定深度图像中已标识的标志物。

可以对深度图像中包含的物体进行标识，将标识的物体定义为标志物。例如，深度图像中的墙面、柱子、横梁、门、窗等均能够进行标识，将标识的墙面、柱子、横梁、门、窗等定义为标志物。

S204、判断3D框架图中表征的特征目标中是否存在标志物。

由于深度图像中标识的标志物不一定和深度图像中的特征目标完全一致，可能会出现3D框架图中表征的特征目标不是深度图像中标识的标志物的情况。

因此，可以根据3D框架图中表征的特征目标和深度图像中标识的标志物进行判断，若3D框架图中表征的特征目标中存在深度图像中标识的标志物，则执行步骤S105。

S205、在3D框架图中对表征的特征目标进行标记。

此时，3D框架图中表征的特征目标中存在深度图像中标识的标志物，则对3D框架图中对表征的特征目标进行标识。例如，在深度图像中对墙面进行标识，墙面作为深度图像中标识的标志物，而在3D框架图中墙面为表征的特征目标，此时3D框架图中表征的特征目标中存在深度图像中标识的标志物，则在3D框架图中表征的墙面进行标识，可以理解的是，在3D框架图中仅仅是表征了墙面的几何形状，在3D框架图中表征的墙面进行标识为在表征墙面的几何形状上进行标识，表示该几何形状为墙面。

此外，在步骤S104中还可能出现深度图像中标识的标志物在3D框架图中未表征的情况，即3D框架图中表征的特征目标中不存在深度图像中标识的标志物，此时执行步骤S106。

S206、在3D框架图中与标志物的位置相同处标示出标志物。

深度图像中标识的标志物在3D框架图中未表征，相应的，3D框架图中表征的特征目标中不存在深度图像中标示的标志物，则确定深度图像中标识的标志物的位置，在3D框架图中相应位置处标示出该标志物。值得注意的是，此时该标志物并未在3D框架图中表征，仅仅是在相应的位置上做出了标示。

可以理解的是，由于3D框架图中表征的特征目标可能为多个，且深度图像中标识的标志物也可能为多个，则可能出现3D框架图中表征的特征目标中一部分存在深度图像中标识的标志物，而另一部分不存在深度图像中标识的标志物的情况。例如3D框架图中表征了特征目标墙面、柱子和横梁，而深度图像中标识的标志物为墙面、柱子和椅子；此时，3D框架图中表征的特征目标中存在深度图像中标识的墙面和柱子，且3D框架图不存在深度图像中标识的椅子；则在3D框架图中对表征墙面和柱子的几何形状进行标记，和/或在3D框架图中与椅子的位置相同的地方标示出椅子。

其中，本发明室内3D框架图的生成方法第一实施例和第二实施例针对获取单帧深度图像，构建与单帧深度图像对应的3D框架图。的流程示意图。

参照图5，图5是本发明室内3D框架图的生成方法第三实施例的流程示意图，该生成方法包括如下步骤：

S301、获取室内的至少连续两帧深度图像。

本实施例中，通过深度相机连续拍摄获取至少连续两帧深度图像。

S302、获取至少两帧深度图像之间的视角变化量和位移变化量。

根据连续拍摄的至少连续两帧深度图像，能够获取该至少连续两帧深度图像之间的视角变化量和位移变化量。位移变化量体现了该至少连续两帧深度图像之间的空间位置关系，视角变化量则反映了该至少连续两帧深度图像之间姿态视角的变化情况。

S303、提取至少连续两帧深度图像的深度值。

该步骤为提取至少连续两帧深度图像各自的深度值，即对每帧深度图像单独提取各自的深度值。其中，对每帧深度图像单独提取各自的深度值与图2所示的生成方法第一实施例中的步骤S1021相同，此处不再赘述。

S304、根据深度值构建与至少连续两帧深度图像各自对应的3D框架图。

该步骤为根据每帧深度图像提取的深度值构建每帧深度图像各自对应的3D框架图。其中，构建每帧深度图像各自对应的3D框架图与图2所示的生成方法第一实施例中的步骤S1022相同，此处不再赘述。

S305、根据视角变化量、位移变化量以及各自对应的3D框架图构建至少连续两帧深度图像对应的3D框架图。

根据该至少连续两帧深度图像之间的视角变化量、位移变化量以及各自对应的3D框架图进行进一步处理，进而能够得到与根据至少连续两帧深度图像的3D框架图叠加而成的整体的3D框架图。

可以理解的是，若获取的至少连续两帧深度图像的数量足够多，且至少连续两帧深度图像能够包含室内完整的空间信息，则能够根据该至少连续两帧深度图像构建室内完整的3D框架图。

进一步的，步骤S305中构建与至少连续两帧深度图像对应的3D框架图之后，还可以结合图4所示的生成方法第二实施例中的步骤S203、S204、S205和S206，对构建与至少连续两帧深度图像对应的3D框架图中表征的特征目标进行标示，和/或在构建与至少连续两帧深度图像对应的3D框架图中标示出至少连续两帧深度中标识的标志物。

参照图7，图7是本发明室内3D框架图的生成方法第四实施例的流程示意图，该生成方法包括如下步骤：

S401、获取室内的至少连续两帧深度图像。

S402、获取至少两帧深度图像之间的视角变化量和位移变化量。

本实施例中，步骤S401和S402分别与图5所示的生成方法第三实施例的步骤S301和S302相同，此处不再赘述。

S403、根据视角变化量、位移变化量以及至少连续两帧深度图像形成总深度图像。

根据该至少连续两帧深度图像之间的视角变化量、位移变化量以及该至少连续两帧深度图像进行处理，进而能够得到与根据至少连续两帧深度图像叠加而成的总深度图像。可以理解的是，若获取的至少连续两帧深度图像的数量足够多，且至少连续两帧深度图像能够包含室内完整的空间信息，则能够根据该至少连续两帧深度图像形成室内完整的深度图像。

S404、提取总深度图像的深度值。

S405、根据总深度图像的深度值构建与总深度图像对应的3D框架图。

本实施例中，步骤S404和S405分别与图2所示的生成方法第一实施例的步骤S1021和S1022相同，此处不再赘述。

进一步的，步骤S405中构建与至少连续两帧深度图像对应的3D框架图之后，还可以结合图4所示的生成方法第二实施例中的步骤S203、S204、S205和S206，对构建与至少连续两帧深度图像对应的3D框架图中表征的特征目标进行标示，和/或在构建与至少连续两帧深度图像对应的3D框架图中标示出至少连续两帧深度中标识的标志物。

参照图7，图7是本发明室内3D框架图的生成系统第一实施例的功能模块图，该生成系统包括：

图像获取模块101，用于获取室内的深度图像。

框架图构建模块102，用于提取室内的深度图像的深度值，根据深度值构建与该深度图像对应的3D框架图。

进一步的，如图8所示，框架图构建模块102包括：

深度值提取单元1021，用于提取深度图像中的深度值呈规则变化的平面和/或线条。

图像构建单元1022，用于以平面和/或线条构建与深度图像对应的3D框架图。

如图7至图8所示的本发明生成系统第一实施例中各模块/单元分别与图1至图2所示的生成方法第一实施例的步骤相对应，此处不再赘述。

进一步的，参考图9，图9是本发明室内3D框架图的生成系统第二实施例的功能模块图，该生成系统包括：

图像获取模块201，用于获取室内的深度图像。

框架图构建模块202，用于提取室内的深度图像的深度值，根据深度值构建与该深度图像对应的3D框架图。

本实施例中，图像获取模块201和框架图构建模块202分别与图7所示的生成系统第一实施例中的图像获取模块101和框架图构建模块102相同，此处不再赘述。

标志物确认模块203，用于确定深度图像中已标识的标志物

特征目标判断模块204，用于判断3D框架图中表征的特征目标中是否存在标志物。

第一标记模块205，用于在3D框架图中对表征的特征目标进行标记。

第二标记模块206，用于在3D框架图中与标志物的位置相同处标示出标志物。

图9所示的本发明生成系统第二实施例中各模块分别与图4所示的生成方法第二实施例的步骤相对应，此处不再赘述。

参照图10，图10是本发明室内3D框架图的生成系统第三实施例的功能模块图，本实施例的生成系统包括：

图像获取模块301，用于获取室内的至少连续两帧深度图像。

变化量获取模块302，用于获取至少两帧深度图像之间的视角变化量和位移变化量。

深度值提取模块303、用于提取至少连续两帧深度图像的深度值。

第一图像构建模块304、用于根据深度值构建与至少连续两帧深度图像各自对应的3D框架图。

第二图像构建模块305、根据视角变化量、位移变化量以及各自对应的3D框架图构建至少连续两帧深度图像对应的3D框架图。

如图10所示的本发明生成系统第三实施例中各模块分别与图5所示的生成方法第三实施例的步骤相对应，此处不再赘述。

参照图11，图11是本发明室内3D框架图的生成系统第四实施例的功能模块图，本实施例的生成系统包括：

图像获取模块401、用于获取室内的至少连续两帧深度图像。

变化量提取模块402、用于获取至少两帧深度图像之间的视角变化量和位移变化量。

第三图像构建模块403、用于根据视角变化量、位移变化量以及至少连续两帧深度图像形成总深度图像。

深度值提取模块404、用于提取总深度图像的深度值。

第四图像构建模块405、用于根据总深度图像的深度值构建与总深度图像对应的3D框架图。

图11所示的本发明生成系统第四实施例中各模块分别与图6所示的生成方法第四实施例的步骤相对应，此处不再赘述。

本发明通过获取室内的深度图像；提取深度图像的深度值，根据深度值构建与深度图像对应的3D框架图；其中，3D框架图表征有室内的至少部分特征目标的3D形状。根据本发明获得的3D框架图中包含了深度图像的框架信息和至少部分特征目标信息，使用框架的形式将这些信息表示在3D框架图中，能够大大减少图片的数据量，有效节省内存。

以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围。

Claims (10)

1.一种室内3D框架图的生成方法，其特征在于，包括：

获取室内的深度图像；

提取所述深度图像的深度值，根据所述深度值构建与所述深度图像对应的3D框架图；

其中，所述3D框架图表征有室内的至少部分特征目标的3D形状。

2.根据权利要求1所述的生成方法，其特征在于，所述3D框架图中表征的特征目标由网格构成。

3.根据权利要求1所述的生成方法，其特征在于，所述提取所述深度图像的深度值，根据所述深度值构建与所述深度图像对应的3D框架图，包括：

提取所述深度图像中的深度值呈规则变化的平面和/或线条；

以所述平面和/或线条构建与所述深度图像对应的3D框架图。

4.根据权利要求1所述的生产方法，其特征在于，所述获取室内的深度图像包括：

获取室内的至少连续两帧深度图像；

所述获取室内的至少连续两帧深度图像之后，还包括：

获取所述至少两帧深度图像之间的视角变化量和位移变化量。

5.根据权利要求4所述的生产方法，其特征在于，所述提取所述深度图像的深度值，根据所述深度值构建与所述深度图像对应的3D框架图包括：

提取所述至少连续两帧深度图像的深度值；

根据所述深度值构建与所述至少连续两帧深度图像各自对应的3D框架图；

根据所述视角变化量、位移变化量以及所述各自对应的3D框架图构建所述至少连续两帧深度图像对应的3D框架图。

6.根据权利要求4所述的生产方法，其特征在于，所述提取所述深度图像的深度值，根据所述深度值构建与所述深度图像对应的3D框架图包括：

根据所述视角变化量、位移变化量以及所述至少连续两帧深度图像形成总深度图像；

提取所述总深度图像的深度值，根据所述深度值构建与所述总深度图像对应的3D框架图。

7.根据权利要求1至6任意一项所述的生成方法，其特征在于，在所述根据所述深度值构建与所述深度图像对应的3D框架图之后，包括：

确定所述深度图像中已标识的标志物；

判断所述3D框架图中表征的特征目标中是否存在所述标志物；

若是，则在所述3D框架图中对所述表征的特征目标进行相应标记。

8.根据权利要求7所述的生成方法，其特征在于，还包括：

若所述3D框架图中表征的特征目标中不存在所述标志物，则在所述3D框架图中与所述标志物的位置相同处标示出所述标志物。

9.一种室内3D框架图的生成系统，其特征在于，包括：

图像获取模块，用获取室内的深度图像；

框架图构建模块，用于提取所述深度图像的深度值，根据所述深度值构建与所述深度图像对应的3D框架图；

其中，所述3D框架图表征有室内的至少部分特征目标的3D形状。

10.根据权利要求8所述的生成系统，其特征在于，所述框架图构建模块，包括：

深度值提取单元，用于提取所述深度图像中的深度值呈规则变化的平面和/或线条；

图像构建单元，用于以所述平面和/或线条构建与所述深度图像对应的3D框架图。