CN110378993A - 建模方法及相关装置 - Google Patents

Abstract

本申请公开了一种建模方法及相关装置，该方法包括：获取目标空间的N个深度图像；根据兴趣点算法确定每个深度图像中的至少一个兴趣点，以得到多个兴趣点；确定每个兴趣点的相关信息，相关信息包括深度信息；根据多个兴趣点对应的相关信息和空间建模算法建立所述目标空间的模型。采用本申请实施例可实现仅通过移动终端对立体空间进行建模。

Description

建模方法及相关装置

技术领域

本申请涉及电子技术领域，尤其涉及一种建模方法及相关装置。

背景技术

当前随着智能手机等移动终端的日益普及，智能手机已成为智能手机用户生活中密不可分的一部分。用户可以通过智能手机拍照、图像处理等。目前，对立体空间(如封闭空间和半封闭空间)建模通常是需要移动终端与外部设备相结合来完成，操作比较复杂。

发明内容

本申请实施例提供一种建模方法及相关装置，用于提供便捷的立体空间建模方式。

第一方面，本申请实施例提供一种建模方法，包括：

获取目标空间的N个深度图像，所述N为大于1的整数；

根据兴趣点算法确定每个所述深度图像中的至少一个兴趣点，以得到多个兴趣点；

确定每个所述兴趣点的相关信息，所述相关信息包括深度信息；

根据所述多个兴趣点对应的相关信息和空间建模算法建立所述目标空间的模型。

第二方面，本申请实施例提供一种建模装置，包括：

获取单元，用于获取目标空间的N个深度图像，所述N为大于1的整数；

第一确定单元，用于根据兴趣点算法确定每个所述深度图像中的至少一个兴趣点，以得到多个兴趣点；

第二确定单元，用于确定每个所述兴趣点的相关信息，所述相关信息包括深度信息；

建模单元，用于根据所述多个兴趣点对应的相关信息和空间建模算法建立所述目标空间的模型。

第三方面，本申请实施例提供一种移动终端，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。

第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

可以看出，在本申请实施例中，首先，移动终端获取目标空间的N个深度图像，然后确定N个深度图像中的多个兴趣点，最后根据多个兴趣点对应的深度信息和空间建模算法建立目标空间的模型。实现了仅通过移动终端即可对立体空间进行建模，操作方便，提升用户体验。

本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

图1是本申请实施例提供的一种建模方法的流程示意图；

图2是本申请实施例提供的体素网格的截断距离函数的示意图；

图3是本申请实施例提供的另一种建模方法的流程示意图；

图4是本申请实施例提供的一种移动终端的结构示意图；

图5是本申请实施例提供的一种建模装置的结构示意图；

图6是本申请实施例提供的一种移动终端的结构示意图。

具体实现方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

以下分别进行详细说明。

本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

移动终端可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(UserEquipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。

目前，对立体空间建模通常是移动终端与外部设备相结合的方式。该外部设备能够使用激光精确测量任意两点之间的距离，由于该外部设备结合了增强现实技术AR，用户在移动终端的显示屏上选择需要测量的地方即可完成测量；在获取到所需要的距离信息之后，通过该外部设备内置的软件自动生成3D图像，将生成的3D图像呈现在移动终端的显示屏上，这样就实现了移动终端借助于外部设备对立体空间建模。

针对上述问题，本申请提供一种建模方法，该建模方法的具体实现方式请参见下述的内容。

请参阅图1，图1是本申请实施例提供的一种建模方法的流程示意图，该方法包括：

步骤101：移动终端获取目标空间的N个深度图像，所述N为大于1的整数。

其中，目标空间指的是立体空间，该立体空间可以是封闭空间，也可以是半封闭空间，在此不作限定。

其中，深度图像指的是反映空间内可见表面的几何形状的三维图像。

其中，每个深度图像对应一个角度，每个深度图像的角度是不同的，每个深度图像的角度是合成该深度图像的多个二维图像对应的多个角度的平均值。

在本申请的一实施例中，移动终端获取目标空间的N个深度图像，包括：

移动终端通过所述移动终端的摄像头获取所述目标空间的M个二维图像，每个所述二维图像对应一个角度，且所述M个二维图像对应的角度互不相同，每个所述二维图像对应的角度是在获取所述二维图像时确定的，所述M为大于1的整数；

移动终端根据三维重建算法将所述M个二维图像转换为N个三维图像，每个所述三维图像是由多个二维图像转换的，每个所述三维图像对应的所述多个二维图像中任意两个所述二维图像对应的角度差值小于第一阈值，所述M大于所述N；

移动终端将所述N个三维图像作为N个深度图像，所述N个三维图像与所述N个深度图像一一对应。

其中，摄像头的数量可以是一个，也可以是多个。在摄像头的数量为一个的情况下，该一个摄像头可以是前置摄像头、后置摄像头或是深度摄像头；在摄像头的数量为两个的情况下，该两个摄像头可以是前置双摄像头，也可以是后置双摄像头。

其中，每个二维图像的角度包括移动终端通过角度检测装置(如陀螺仪等)拍摄该二维图像时移动终端与三维坐标系的X轴、Y轴和Z轴的三个夹角；

其中，二维图像i的角度为拍摄二维图像i移动终端与三维坐标系1的X轴、Y轴和Z轴的三个夹角，二维图像j的角度为拍摄二维图像j移动终端与三维坐标系2的X轴、Y轴和Z轴的三个夹角，其中，三维坐标系1与三维坐标系2为同一个三维坐标系，二维图像i和二维图像j均是M个二维图像中的其中一个。

具体地，在目标空间近似为长方体的情况下，多个二维图像包括摄像头沿第一方向拍摄的长方体的前表面、上表面、后表面和下表面的二维图像，以及摄像头沿第二方向拍摄的长方体的左表面、上表面、右表面和下表面的二维图像，每个表面均对应多张二维图像，第一方向不同于第二方向；由于摄像头沿第一方向和第二方向均拍摄有长方体的上表面和下表面，因此多个二维图像存在重叠区域。

其中，在摄像头为非深度摄像头的情况下，三维重建算法有迪斯尼新图像算法、运动构建模型(Structure From Motion，SFM)算法等；在摄像头为深度摄像头的情况下，三维重建算法有Kinect Fusion算法。

其中，角度差值是角度i和角度j在X轴、Y轴和Z轴的三个夹角差值之和，其中，角度i和角度j均为M个角度中的其中一个。

其中，第一阈值可以是用户设置的，也可以是移动终端设置的，在此不作限定。

具体地，在目标空间近似为长方体和摄像头为深度摄像头的情况下，移动终端根据三维重建算法将M个二维图像中角度差值小于第一阈值的多个二维图像转换为一个三维图像的具体实施方式有：移动终端根据Kinect Fusion算法将沿第一方向拍摄的长方体的前表面对应的多张二维图像转换为前表面对应的一张三维图像，前表面对应的多张二维图像的角度差值小于第一阈值；移动终端对长方体的上表面、下表面和后表面重复上述操作；移动终端根据Kinect Fusion算法依次将沿第二方向拍摄的长方体的左表面对应的多张二维图像转换为左表面对应的一张三维图像，左表面对应的多张二维图像的角度差值小于第一阈值；移动终端对长方体的上表面、右表面和下表面重复上述操作。

步骤102：移动终端根据兴趣点算法确定每个所述深度图像中的至少一个兴趣点，以得到多个兴趣点。

其中，兴趣点指的是深度图像中具有特殊性质的像素点。比如，在目标空间为房间的情况下，兴趣点可以是房间的角点。

其中，兴趣点算法有边缘提取法、角点检测法、兴趣算子法，等等。

步骤103：移动终端确定每个所述兴趣点的相关信息，所述相关信息包括深度信息。

其中，该相关信息还包括颜色信息和角度，该颜色信息指的是兴趣点的红色R、绿色G和蓝色B信息。

其中，兴趣点的深度信息包括兴趣点在目标空间的三维坐标。

具体地，移动终端确定每个兴趣点的深度信息和颜色信息的具体实施方式有：移动终端将每个深度图像直接转换成点云库PCL的点云；移动终端确定每个兴趣点在PCL中对应的点云数据；移动终端将每个兴趣点对应的点云数据作为每个兴趣点对应的深度信息和颜色信息。

其中，在兴趣点i和兴趣点j为同一深度图像中的兴趣点的情况下，兴趣点i的角度和兴趣点j的角度是相同的；在兴趣点i和兴趣点j是不同的深度图像中的兴趣点的情况下，兴趣点i的角度和兴趣点j的角度是不同的。

步骤104：移动终端根据所述多个兴趣点对应的相关信息和空间建模算法建立所述目标空间的模型。

其中，空间建模算法可以是3D块匹配算法。

在本申请的一实施例中，移动终端根据所述多个兴趣点对应的相关信息和空间建模算法建立所述目标空间的模型，包括：

移动终端根据三维卷积模型和每个所述兴趣点的相关信息确定每个所述兴趣点的局部描述符；

移动终端将所述多个兴趣点划分为多组兴趣点集，每组兴趣点集包括两个兴趣点，所述两个兴趣点对应的深度图像不同；

移动终端根据欧拉公式和每组兴趣点集中包括的兴趣点的局部描述符确定每组兴趣点集的欧拉距离；

移动终端将所述欧拉距离小于第二阈值的所述兴趣点集中的其中一个兴趣点去除；

移动终端根据所述多个兴趣点中的剩余兴趣点确定所述目标空间的模型。

具体地，三维卷积模型为预先训练好的模型，根据基准样本数据构建三维卷积模型的具体实施方式有：将基准样本数据输入到初始三维卷积模型中，执行N层正向运算得到输出结果，根据输出结果得到输出结果对应的梯度，将输出结果对应的梯度执行N层反向运算得到每层的权值梯度，根据每层的权值梯度对每层的权值进行更新，经过多次迭代计算得到最终的权值，将该最终的权值作为初始三维卷积模型的卷积核，得到三维卷积模型。其中，基准样本数据可以来源于通过移动终端拍摄的图像中的数据、开源的数据集或者进行其他建模过程中得到的图像的数据；该基准样本数据具有多样性，进而提高了三维卷积模型的运算精度。

其中，移动终端根据三维卷积模型和每个兴趣点的相关信息确定每个兴趣点的局部描述符的具体实施方式为：移动终端将兴趣点i的深度信息表示为30*30*30体素网格的截断距离函数(如图2所示)；移动终端将兴趣点i对应的30*30*30体素网格的截断距离函数输入三维卷积模型，得到兴趣点i的局部描述符，兴趣点i为多个兴趣点中的其中一个。

其中，欧拉公式为：

e^ix＝cosx+isinx

其中，e为自然对数的底，i为虚数单位。

其中，第二阈值表征不同深度图像中的两个兴趣点为目标空间中的同一兴趣点时两个兴趣点的欧拉距离所对应的最大值，即当不同深度图像中的两个兴趣点的欧拉距离小于第二阈值时，两个兴趣点为目标空间中的同一兴趣点；当不同深度图像中的两个兴趣点的欧拉距离大于或等于第二阈值时，两个兴趣点为目标空间中的不同兴趣点。

具体地，移动终端根据多个兴趣点中的剩余兴趣点确定目标空间的模型的具体实施方式有：移动终端将剩余兴趣点连接形成目标空间的模型。

举例来说，假设目标空间近似为长方体，每个表面对应一个深度图像，每个表面均有4个兴趣点，第二阈值为0.2，移动终端根据三维卷积模型和每个兴趣点的深度信息确定每个兴趣点的局部描述符，移动终端将24个兴趣点划分为80组兴趣点集，每组兴趣点集包括的两个兴趣点对应长方体不同的表面，移动终端根据欧拉公式e^ix＝cosx+isinx和80组兴趣点集中的每组兴趣点集包括的两个兴趣点的局部描述符确定每组兴趣点集的欧拉距离，移动终端将兴趣点集中相同的两个兴趣点(即该组兴趣点集的欧拉距离小于0.2)去除其中一个，移动终端将24个兴趣点中剩余的不同兴趣点连接形成目标空间的模型。

可以看出，在本申请实施例中，首先，移动终端获取目标空间的N个深度图像，然后确定N个深度图像中的多个兴趣点，最后根据多个兴趣点对应的深度信息和空间建模算法建立目标空间的模型。实现了仅通过移动终端即可对立体空间进行建模，操作方便，提升用户体验。

在本申请的一实施例中，移动终端获取目标空间的N个深度图像之前，所述方法还包括：

移动终端通过提示装置进行设定提示，所述设定提示用于提示用户获取目标空间的N个深度图像。

其中，提示装置包括显示屏和麦克风。

具体地，移动终端通过提示装置进行设定提示的方式有：文字提示、语音提示、漫画提示、短视频提示，等等。

在本申请的一实施例中，移动终端获取目标空间的N个深度图像之前，所述方法还包括：

移动终端确定所述移动终端满足设定条件，所述设定条件包括以下至少一种：检测到针对虚拟按钮的点击操作，所述虚拟按钮用于触发空间建模；所述移动终端处于设定环境；检测到针对当前所述目标空间进行建模的语音指令。

具体地，虚拟按钮可以采用设置在移动终端的桌面上的应用图标表示。在虚拟按钮采用应用图标的情况下，若用户需要对当前空间进行建模，此时移动终端若处于锁屏的情况下，用户需要解锁移动终端的屏幕，以及点击移动终端的桌面上虚拟按钮对应的应用图标，进而快速启动空间建模功能。虚拟按钮也可以设置在移动终端的建模应用的界面中，在此不作限定。

具体地，设定环境为用户处于封闭空间，或者用户处于半封闭空间，比如用户处于房子中，或用户处于汽车中。在用户处于非封闭空间的情况下，比如用户处于露天且四周无围墙的操场中，由于操场露天且四周无围墙，移动终端对该操场进行空间建模无意义。

具体地，若用户需要对当前目标空间进行建模时，用户可以采用语音的形式与移动终端进行交互，比如语音为“针对当前目标空间进行建模”，移动终端检测到针对当前目标空间进行建模的语音指令，启动空间建模功能对当前目标空间进行建模，方便快捷，提升用户的体验。

在本申请的一实施例中，移动终端根据所述多个兴趣点对应的相关信息和空间建模算法建立所述目标空间的模型之后，所述方法还包括：

在检测到针对所述目标空间的模型进行显示的确认指令的情况下，移动终端通过所述移动终端的显示屏显示所述目标空间的模型。

可见，在本申请实施例中，在检测到针对目标空间的模型进行显示的确认指令的情况下，移动终端通过显示屏显示目标空间的模型。这样用户可以采用该目标空间的模型向他人进行展示说明，提升用户的体验。

本申请实施例还提供了另一更为详细的方法流程，如图3所示，该方法包括：

步骤301：移动终端确定所述移动终端满足设定条件，所述设定条件包括以下至少一种：检测到针对虚拟按钮的点击操作，所述虚拟按钮用于触发空间建模；所述移动终端处于设定环境；检测到针对当前所述目标空间进行建模的语音指令。

步骤302：移动终端通过所述移动终端的摄像头获取所述目标空间的M个二维图像，每个所述二维图像对应一个角度，且所述M个二维图像对应的角度互不相同，每个所述二维图像对应的角度是在获取所述二维图像时确定的，所述M为大于1的整数。

步骤303：移动终端根据三维重建算法将所述M个二维图像转换为N个三维图像，每个所述三维图像是由多个二维图像转换的，每个所述三维图像对应的所述多个二维图像中任意两个所述二维图像对应的角度差值小于第一阈值，所述M大于所述N。

步骤304：移动终端将所述N个三维图像作为N个深度图像，所述N个三维图像与所述N个深度图像一一对应。

步骤305：移动终端根据兴趣点算法确定每个所述深度图像中的至少一个兴趣点，以得到多个兴趣点。

步骤306：移动终端确定每个所述兴趣点的相关信息，所述相关信息包括深度信息。

步骤307：移动终端根据三维卷积模型和每个所述兴趣点的相关信息确定每个所述兴趣点的局部描述符。

步骤308：移动终端将所述多个兴趣点划分为多组兴趣点集，每组兴趣点集包括两个兴趣点，所述两个兴趣点对应的深度图像不同。

步骤309：移动终端根据欧拉公式和每组兴趣点集中包括的兴趣点的局部描述符确定每组兴趣点集的欧拉距离。

步骤310：移动终端将所述欧拉距离小于第二阈值的所述兴趣点集中的其中一个兴趣点去除。

步骤311：移动终端根据所述多个兴趣点中的剩余兴趣点确定所述目标空间的模型。

需要说明的是，图3所示方法的各个步骤的具体实现过程可参见上述方法的具体实现过程，在此不再叙述。

与上述图1和图3所示的实施例一致的，请参阅图4，图4是本申请实施例提供的一种移动终端的结构示意图，该移动终端包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行以下步骤的指令：

获取目标空间的N个深度图像，所述N为大于1的整数；

根据兴趣点算法确定每个所述深度图像中的至少一个兴趣点，以得到多个兴趣点；

确定每个所述兴趣点的相关信息，所述相关信息包括深度信息；

根据所述多个兴趣点对应的相关信息和空间建模算法建立所述目标空间的模型。

在本申请的一实施例中，上述程序还包括用于执行以下步骤的指令：

确定所述移动终端满足设定条件，所述设定条件包括以下至少一种：检测到针对虚拟按钮的点击操作，所述虚拟按钮用于触发空间建模；所述移动终端处于设定环境；检测到针对当前所述目标空间进行建模的语音指令。

在本申请的一实施例中，在获取目标空间的N个深度图像方面，上述程序包括具体用于执行以下步骤的指令：

获取所述目标空间的M个二维图像，每个所述二维图像对应一个角度，且所述M个二维图像的角度互不相同，每个所述二维图像对应的角度是在获取所述二维图像时确定的，所述M为大于1的整数；

根据三维重建算法将所述M个二维图像转换为N个三维图像，每个所述三维图像是由多个二维图像转换的，每个所述三维图像对应的所述多个二维图像中任意两个所述二维图像对应的角度差值小于第一阈值，所述M大于所述N；

将所述N个三维图像作为N个深度图像，所述N个三维图像与所述N个深度图像一一对应。

在本申请的一实施例中，在根据所述多个兴趣点对应的相关信息和空间建模算法建立所述目标空间的模型方面，上述程序包括具体用于执行以下步骤的指令：

根据三维卷积模型和每个所述兴趣点的相关信息确定每个所述兴趣点的局部描述符；

将所述多个兴趣点划分为多组兴趣点集，每组兴趣点集包括两个兴趣点，所述两个兴趣点对应的深度图像不同；

根据欧拉公式和每组兴趣点集中包括的兴趣点的局部描述符确定每组兴趣点集的欧拉距离；

将所述欧拉距离小于第二阈值的所述兴趣点集中的其中一个兴趣点去除；

根据所述多个兴趣点中的剩余兴趣点确定所述目标空间的模型。

在本申请的一实施例中，上述程序还包括用于执行以下步骤的指令：

在检测到针对所述目标空间的模型进行显示的确认指令的情况下，显示所述目标空间的模型。

需要说明的是，本实施例的具体实现过程可参见上述方法实施例所述的具体实现过程，在此不再叙述。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，移动终端为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对建模装置进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用集成的单元的情况下，图5示出了上述实施例中所涉及的建模装置的一种可能的功能单元组成框图。该建模装置500包括处理单元501、存储单元502和通信单元503，处理单元501包括获取单元、第一确定单元、第二确定单元和建模单元，其中：

获取单元，用于获取目标空间的N个深度图像，所述N为大于1的整数；

第一确定单元，用于根据兴趣点算法确定每个所述深度图像中的至少一个兴趣点，以得到多个兴趣点；

第二确定单元，用于确定每个所述兴趣点的相关信息，所述相关信息包括深度信息；

建模单元，用于根据所述多个兴趣点对应的相关信息和空间建模算法建立所述目标空间的模型。

在本申请的一实施例中，所述处理单元501还包括：

第三确定单元，用于确定所述移动终端满足设定条件，所述设定条件包括以下至少一种：检测到针对虚拟按钮的点击操作，所述虚拟按钮用于触发空间建模；所述移动终端处于设定环境；检测到针对当前所述目标空间进行建模的语音指令。

在本申请的一实施例中，在获取目标空间的N个深度图像方面，所述获取单元具体用于：

获取所述目标空间的M个二维图像，每个所述二维图像对应一个角度，且所述M个二维图像对应的角度互不相同，每个所述二维图像对应的角度是在获取所述二维图像时确定的，所述M为大于1的整数；

根据三维重建算法将所述M个二维图像转换为N个三维图像，每个所述三维图像是由多个二维图像转换的，每个所述三维图像对应的所述多个二维图像中任意两个所述二维图形对应的角度差值小于第一阈值，所述M大于所述N；

将所述N个三维图像作为N个深度图像，所述N个三维图像与所述N个深度图像一一对应。

在本申请的一实施例中，在根据所述多个兴趣点对应的相关信息和空间建模算法建立所述目标空间的模型方面，所述建模单元具体用于：

根据三维卷积模型和每个所述兴趣点的相关信息确定每个所述兴趣点的局部描述符；

将所述多个兴趣点划分为多组兴趣点集，每组兴趣点集包括两个兴趣点，所述两个兴趣点对应的深度图像不同；

根据欧拉公式和每组兴趣点集中包括的兴趣点的局部描述符确定每组兴趣点集的欧拉距离；

将所述欧拉距离小于第二阈值的所述兴趣点集中的其中一个兴趣点去除；

根据所述多个兴趣点中的剩余兴趣点确定所述目标空间的模型。

在本申请的一实施例中，所述处理单元501还包括：

显示单元，用于在检测到针对所述目标空间的模型进行显示的确认指令的情况下，显示所述目标空间的模型。

其中，处理单元501可以是处理器或控制器，(例如可以是中央处理器(CentralProcessing Unit，CPU)，通用处理器，数字信号处理器(Digital Signal Processor，DSP)，专用集成控制器(Application-Specific Integrated Circuit，ASIC)，现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。存储单元502可以是存储器，通信单元503可以是收发器、收发控制器、射频芯片、通信接口等。

当处理单元501为处理器，存储单元502为存储器，通信单元503为通信接口时，本申请实施例所涉及的建模装置可以为图4所示的移动终端。

本申请实施例还提供了一种移动终端的结构示意图，如图6所示，该移动终端包括：壳体、电路板、摄像头、显示屏、角度检测装置、控制摄像头、显示屏和角度检测装置的控制器；摄像头、角度检测装置和控制器设置在电路板上，显示屏与控制器连接，角度检测装置包括陀螺仪，角度传感器等，其中：

控制器，用于获取目标空间的N个深度图像，所述N为大于1的整数；根据兴趣点算法确定每个所述深度图像中的至少一个兴趣点，以得到多个兴趣点；确定每个所述兴趣点的相关信息，所述相关信息包括深度信息；根据所述多个兴趣点对应的相关信息和空间建模算法建立所述目标空间的模型。

其中，移动终端还包括至少一个功能组件，控制器与至少一个功能组件连接，至少一个功能组件包括以下至少一种：扬声器、麦克风、人脸识别装置、接近传感器、环境光传感器。

其中，显示屏包括触控屏和显示屏，显示屏包括有机发光二极管显示屏OLED。

其中，控制器可以包括处理器和存储器，该处理器是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。可选的，处理器可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，所述调制解调处理器也可以不集成到处理器中。

其中，存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行移动终端的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据移动终端的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

可以看出，在本申请实施例中，首先，移动终端获取目标空间的N个深度图像，然后确定N个深度图像中的多个兴趣点，最后根据多个兴趣点对应的相关信息和空间建模算法建立目标空间的模型。实现了仅通过移动终端即可对立体空间进行建模，操作方便，提升用户体验。

在本申请的一实施例中，控制器还用于：

确定所述移动终端满足设定条件，所述设定条件包括以下至少一种：检测到针对虚拟按钮的点击操作，所述虚拟按钮用于触发空间建模；所述移动终端处于设定环境；检测到针对当前所述目标空间进行建模的语音指令。

在本申请的一实施例中，在获取目标空间的N个深度图像方面，

摄像头，用于获取所述目标空间的M个二维图像，所述M为大于1的整数；

角度检测装置，用于摄像头获取所述二维图像时确定所述二维图像的角度，每个所述二维图像对应一个角度，且所述M个二维图像对应的角度互不相同；

控制器具体用于：根据三维重建算法将所述M个二维图像转换为N个三维图像，每个所述三维图像是由多个二维图像转换的，每个所述三维图像对应的所述多个二维图像中任意两个所述二维图像对应的角度差值小于第一阈值，所述M大于所述N；将所述N个三维图像作为N个深度图像，所述N个三维图像与所述N个深度图像一一对应。

在本申请的一实施例中，在根据所述多个兴趣点对应的相关信息和空间建模算法建立所述目标空间的模型方面，控制器具体用于：

根据三维卷积模型和每个所述兴趣点的相关信息确定每个所述兴趣点的局部描述符；

将所述多个兴趣点划分为多组兴趣点集，每组兴趣点集包括两个兴趣点，所述两个兴趣点对应的深度图像不同；

根据欧拉公式和每组兴趣点集中包括的兴趣点的局部描述符确定每组兴趣点集的欧拉距离；

将所述欧拉距离小于第二阈值的所述兴趣点集中的其中一个兴趣点去除；

根据所述多个兴趣点中的剩余兴趣点确定所述目标空间的模型。

在本申请的一实施例中，显示屏具体用于：

在检测到针对所述目标空间的模型进行显示的确认指令的情况下，显示所述目标空间的模型。

需要说明的是，本实施例的具体实现过程可参见下述方法所述的具体实现过程，在此不再叙述。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括移动终端。

本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括移动终端。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实现方式及应用范围上均会有改变之处，综上上述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种建模方法，其特征在于，包括：

获取目标空间的N个深度图像，所述N为大于1的整数；

根据兴趣点算法确定每个所述深度图像中的至少一个兴趣点，以得到多个兴趣点；

确定每个所述兴趣点的相关信息，所述相关信息包括深度信息；

根据所述多个兴趣点对应的相关信息和空间建模算法建立所述目标空间的模型。

2.根据权利要求1所述的方法，其特征在于，所述获取目标空间的N个深度图像之前，所述方法还包括：

确定所述移动终端满足设定条件，所述设定条件包括以下至少一种：检测到针对虚拟按钮的点击操作，所述虚拟按钮用于触发空间建模；所述移动终端处于设定环境；检测到针对当前所述目标空间进行建模的语音指令。

3.根据权利要求1或2所述的方法，其特征在于，所述获取目标空间的N个深度图像，包括：

通过所述移动终端的摄像头获取所述目标空间的M个二维图像，每个所述二维图像对应一个角度，且所述M个二维图像对应的角度互不相同，每个所述二维图像对应的角度是在获取所述二维图像时确定的，所述M为大于1的整数；

根据三维重建算法将所述M个二维图像转换为N个三维图像，每个所述三维图像是由多个二维图像转换的，每个所述三维图像对应的所述多个二维图像中任意两个所述二维图像对应的角度差值小于第一阈值，所述M大于所述N；

将所述N个三维图像作为N个深度图像，所述N个三维图像与所述N个深度图像一一对应。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述多个兴趣点对应的相关信息和空间建模算法建立所述目标空间的模型，包括：

根据三维卷积模型和每个所述兴趣点的相关信息确定每个所述兴趣点的局部描述符；

将所述多个兴趣点划分为多组兴趣点集，每组兴趣点集包括两个兴趣点，所述两个兴趣点对应的深度图像不同；

根据欧拉公式和每组兴趣点集中包括的兴趣点的局部描述符确定每组兴趣点集的欧拉距离；

将所述欧拉距离小于第二阈值的所述兴趣点集中的其中一个兴趣点去除；

根据所述多个兴趣点中的剩余兴趣点确定所述目标空间的模型。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述多个兴趣点对应的相关信息和空间建模算法建立所述目标空间的模型之后，所述方法还包括：

在检测到针对所述目标空间的模型进行显示的确认指令的情况下，通过所述移动终端的显示屏显示所述目标空间的模型。

6.一种建模装置，其特征在于，包括：

获取单元，用于获取目标空间的N个深度图像，所述N为大于1的整数；

第一确定单元，用于根据兴趣点算法确定每个所述深度图像中的至少一个兴趣点，以得到多个兴趣点；

第二确定单元，用于确定每个所述兴趣点的相关信息，所述相关信息包括深度信息；

建模单元，用于根据所述多个兴趣点对应的相关信息和空间建模算法建立所述目标空间的模型。

7.根据权利要求6所述的建模装置，其特征在于，在获取目标空间的N个深度图像方面，所述获取单元具体用于：

获取所述目标空间的M个二维图像，每个所述二维图像对应一个角度，且所述M个二维图像对应的角度互不相同，每个所述二维图像对应的角度是在获取所述二维图像时确定的，所述M为大于1的整数；

根据三维重建算法将所述M个二维图像转换为N个三维图像，每个所述三维图像是由多个二维图像转换的，每个所述三维图像对应的所述多个二维图像中任意两个所述二维图像对应的角度差值小于第一阈值，所述M大于所述N；

将所述N个三维图像作为N个深度图像，所述N个三维图像与所述N个深度图像一一对应。

8.根据权利要求6或7所述的建模装置，其特征在于，在根据所述多个兴趣点对应的相关信息和空间建模算法建立所述目标空间的模型方面，所述建模单元具体用于：

根据三维卷积模型和每个所述兴趣点的相关信息确定每个所述兴趣点的局部描述符；

将所述多个兴趣点划分为多组兴趣点集，每组兴趣点集包括两个兴趣点，所述两个兴趣点对应的深度图像不同；

根据欧拉公式和每组兴趣点集中包括的兴趣点的局部描述符确定每组兴趣点集的欧拉距离；

将所述欧拉距离小于第二阈值的所述兴趣点集中的其中一个兴趣点去除；

根据所述多个兴趣点中的剩余兴趣点确定所述目标空间的模型。

9.一种移动终端，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-5任一项所述的方法中的步骤的指令。

10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-5任一项所述的方法。