CN109242958A - 一种三维建模的方法及其装置 - Google Patents

Abstract

本发明涉及图像处理领域，公开了一种三维建模的方法及其装置。所述三维建模的方法应用于单目相机，所述单目相机与多维旋转电机连接，通过控制单目相机按预设方式采集投影空间的图像；根据图像，获取投影空间的投影空间参数，并确定三维空间模型；根据三维空间模型和单目相机的预设图像识别算法，识别投影空间中的现实物体以及计算各现实物体的物体信息。本发明能够快速准确地构建投影空间的空间三维模型，且能从该空间三维模型中识别投影空间中的现实物体以及计算各现实物体的物体信息，从而可以根据现实物体的物体信息来改变虚拟物体的大小、颜色、角度等使虚拟物体图像与现实物体的结合更吻合、更逼真。

Description

一种三维建模的方法及其装置

技术领域

本发明实施方式涉及图像处理领域，特别是涉及一种三维建模的方法及其装置。

背景技术

随着科学技术的发展和人民生活水平的不断提高，人们对视觉感受方面的要求越来越高。在显示效果上，人们又倾向于追求增强现实、身临其境的视觉享受。但是，在实际的动态增强现实投影应用中，若虚拟对象和现实物体的空间匹配度存在误差，由于人眼对于这种误差非常的敏感，这种误差会让用户产生虚拟现实结合不协调、不逼真的感觉，使得用户体验较差。因此，准确快速的对投影空间进行三维建模，并基于投影空间的三维空间模型获取投影空间中的现实物体的物体信息(包括现实物体的位置、轮廓信息等)是虚拟现实结合的基础，直接影响虚拟现实结合的真实感、实时性和交互性。

目前，基于单目相机的三维建模方法没有优质的建模方案，所计算出的点云模型的误差率极高，在出现错误时，还需要重复建模的步骤进行三维重构。同时，基于单目相机的三维建模方法只是简单的将室内场景布局定义为单个立方体基元，也并没有基于所建立的投影空间的三维空间模型对投影空间内的现实物体进行颜色、位置、大小、轮廓等分析(即物体信息的分析)。对要求较高的虚拟现实结合动态投影，无法根据现实物体的物体信息来改变虚拟物体的大小、颜色、角度等使虚拟物体图像与现实物体的结合更吻合、更逼真。

发明内容

本发明实施例提供了一种三维建模的方法及其装置，其能够快速准确地构建投影空间的空间三维模型，且能从该空间三维模型中识别投影空间中的现实物体以及计算各现实物体的物体信息。

为解决上述技术问题，本发明实施方式采用的以下技术方案：

在第一方面，提供一种三维建模的方法，应用于单目相机，所述单目相机与多维旋转电机连接，包括：

控制所述单目相机按预设方式采集投影空间的图像；根据所述图像，获取所述投影空间的投影空间参数，并确定三维空间模型；

根据所述三维空间模型和所述单目相机的预设图像识别算法，识别所述投影空间中的现实物体以及计算各所述现实物体的物体信息。

进一步的，所述控制所述单目相机按预设方式采集投影空间的图像包括：

校准所述多维旋转电机，使所述多维旋转电机处于起始点；

根据所述单目相机的每一个三维区域预设的拍照次数、水平视角和垂直视角，分别计算所述单目相机水平方向和垂直方向上需采集的所述图像的张数和每两张图像的间隔角度。

进一步的，所述方法还包括：

获取所述单目相机的光线扭曲参数及偏移量参数；

根据所述光线扭曲参数和偏移量参数，校正所述图像；

通过焦距除法来对校正后的所述图像的点进行归一化。

进一步的，所述根据所述图像，获取所述投影空间的投影空间参数，并确定三维空间模型包括：

根据所述图像，获取所述投影空间的空间特征点和空间线条；

将所述空间特征点和所述空间线条进行匹配；

将匹配后的所述空间线条进行分组，确定所述三维空间模型。

进一步的，所述根据所述图像，获取所述投影空间的空间特征点和空间线条包括：

通过任意两个所述图像间的转换关系，计算图像线条两两之间相对的三维坐标；

根据所述三维坐标，获取所述投影空间的空间特征点和空间线条。

进一步的，所述将所述空间特征点和所述空间线条进行匹配包括：

所述图像基于其所在的立体视椎铺贴所述空间线条；

根据任意两个重叠的所述图像的立体视椎，进行所述投影空间的空间特征点和空间线条的匹配。

进一步的，所述将匹配后的所述空间线条进行分组，确定三维空间模型包括：

将所述空间线条根据并行性或正交性进行收敛，得到正交消失点；

根据所述空间线条和所述正交消失点确定所述投影空间的边界，确定三维空间模型；

获取所述图像的所有图像线条，将所述图像线条整合在所述三维空间模型里，并使用线段一致性估测三维室内曼哈顿场景。

进一步的，所述根据所述三维空间模型和所述单目相机的预设图像识别算法，识别所述投影空间中的现实物体以及计算各所述现实物体的物体信息包括：

根据所述三维空间模型识别所述投影空间中的现实物体以及所述现实物体所处位置的三维坐标；

根据所述单目相机的预设图像识别算法计算各所述现实物体信息，所述现实物体信息包括物体的轮廓、形状、大小和颜色。

进一步的，当所述现实物体信息包括物体的轮廓时，

根据所述预设图像识别算法，从所述图像识别出各个现实物体，并且提取各所述现实物体的物体轮廓；

识别各所述现实物体是否存在遮挡；

若存在，则根据预设补偿算法，对存在遮挡的现实物体的物体轮廓进行遮挡补偿。

进一步的，所述方法还包括：

接收虚拟现实投影指令；

根据所述虚拟现实投影指令，确定投影位置以及投影物体；

控制投影设备向所述投影位置投影所述投影物体。

在第二方面，提供一种三维建模的装置，应用于单目相机，所述单目相机与多维旋转电机连接，其特征在于，包括：

采集单元，用于控制所述单目相机按预设方式采集投影空间的图像；

确定单元，用于根据所述图像，获取所述投影空间的投影空间参数，并确定三维空间模型；

识别与计算单元，用于根据所述三维空间模型和所述单目相机的预设图像识别算法，识别所述投影空间中的现实物体以及计算各所述现实物体的物体信息。

本发明实施方式的有益效果是：区别于现有技术的情况，本发明实施例提供一种三维建模的方法及其装置。所述三维建模的方法应用于单目相机，所述单目相机与多维旋转电机连接，通过控制单目相机按预设方式采集投影空间的图像；根据图像，获取投影空间的投影空间参数，并确定三维空间模型；根据三维空间模型和单目相机的预设图像识别算法，识别投影空间中的现实物体以及计算各现实物体的物体信息。因此，本发明能够快速准确地构建投影空间的空间三维模型，且能从该空间三维模型中识别投影空间中的现实物体以及计算各现实物体的物体信息，从而可以根据现实物体的物体信息来改变虚拟物体的大小、颜色、角度等使虚拟物体图像与现实物体的结合更吻合、更逼真。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本发明实施例提供的一种投影空间的结构示意图；

图2是本发明实施例提供的一种投影空间中虚拟现实结合的示意图；

图3是本发明实施例提供的一种三维建模的方法流程图；

图4是图3中步骤S11的方法流程图；

图5是本发明另一实施例提供的一种三维建模的方法流程图；

图6是图3中步骤S12的方法流程图；

图7是图6中步骤S121的方法流程图；

图8是本发明实施例提供的图7中步骤S1212的应用场景示意图；

图9是本发明实施例提供的图7中步骤S1212的结果示意图；

图10是图7中步骤S122的方法流程图；

图11是图7中步骤S123的方法流程图；

图12是图3中步骤S13的方法流程图；

图13是本发明另一实施例提供的步骤S13的方法流程图；

图14是本发明又一实施例提供的一种三维建模的方法流程图；

图15是本发明实施例提供的一种三维建模的装置示意图；

图16是本发明实施例提供的一种智能终端的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

请参阅图1，图1为本发明实施例提供的一种投影空间的结构示意图。如图1所示，所述投影空间100包括位于所述投影空间100内的现实物体10、多维旋转电机20、单目相机30和投影设备40。

可以理解，所述投影空间100指的是所述单目相机30在所述多维旋转电机20的驱动下可以覆盖的范围，例如，一个房间、一个会议室、一个展厅等，即所述投影空间100的大小可以由所述单目相机30的图像采集范围确定。当所述单目相机30的数量为多个时，广义上，所述投影空间100的大小可以做到无限大，此时，所述投影空间100在空间上是连续的，例如，一个房间内的空间是延展的开放、半封闭或封闭空间。在一些实施例中，所述投影空间100还可以是断续的，即区域的离散化，例如，位于不同地区的分公司大楼建筑，通过移动有线或无线网络可以将不同区域的投影空间图像集合成一个图像系统，然后，对该图像系统内的多个区域的投影空间图像构建三维模型。

所述现实物体10为位于所述投影空间100中的物品，其可以是摆设物件，例如图中所示的桌子、放置于桌子上表面的花瓶和坐垫，还可以是活动的物体，例如在所述投影空间100中走动的人、沿预设方向运动的LED显示屏等。需要说明的是，所述现实物体10具有标识其自身的物体信息，用以区别于其他物件，比如，所述现实物体10的坐标位置，尺寸大小、轮廓线条、颜色等，还可以根据所述物体信息改变所述投影设备40投影的虚拟物体图像坐标位置，尺寸大小、轮廓线条、颜色等，使虚拟物体图像与所述现实物体10的结合更吻合、更逼真。

所述多维旋转电机20分别与所述单目相机30和所述投影设备40连接，可以使得所述单目相机30和投影设备40分别沿着不同的角度绕轴旋转，即可以改变所述单目相机30的采集方向和采集角度，同时，也可以改变所述投影设备40的投影方向和投影角度。

所述单目相机30解决了深度摄像机无法达到的照片级精度的问题。在本发明实施例中，至少一台所述单目相机30可以按照一定的规则安装在所述投影空间100，比如，在一个博物馆的大厅内，在竖直或水平方向上每隔5米安装一个单目相机30，所述单目相机30可以固定安装在屋顶、墙壁、地面或现实物体的表面上。通过多维旋转电机20与单目相机30结合可以最大化地增加单目相机30的采集范围，减少单目相机30的布设，进而减少系统成本。

在一些实施例中，可以选择一体化的单目相机30替代多维旋转电机20与单目相机30结合的方式，比如，半球形一体机、快速球型一体机、结合云台的一体化机或镜头内置于云台的一体机等，上述的一体机可以实现自动聚焦。优选的，选择具有防水功能、体积较小、分辨率高、高寿命以及具有通用通信接口等的单目相机30。

所述投影设备40与所述多维旋转电机20连接，在完成三维空间模型的构建之后，所述投影设备40接收预设的指令(比如语音指令、手势指令、键盘命令等)，在智能终端(比如计算机等)的控制下向所述现实物体10投影虚拟物体图像50(如图2所示)，最终实现虚拟现实结合的动态显示，其中，所述空间三维模型通常存储在计算机或其他大型的存储设备中(比如服务器等)。

如图2所示，在本发明实施例中，所述投影空间100中虚拟现实结合的过程具体如下：

通过至少一台所述单目相机30与多维旋转电机20采集位于投影空间100的桌子、位于桌子上的空置的花瓶以及坐垫的图像，构建空间三维模型，可以理解，位于投影空间100的桌子、位于桌子上的空置的花瓶以及坐垫的图像可能是投影空间100的一部分，所述空间三维模型还包括桌子、位于桌子上的空置的花瓶以及坐垫的图像的特征参数。

获取用户语音指令“搜索一束鲜花放置于花瓶内，搜索一只猫咪放置于坐垫上”，并对该语音指令进行识别，最终确认所需被投的虚拟物体分别为一束鲜花和一只猫咪，虚拟物体所要投影结合的现实物体10分别为桌子上的花瓶和桌子上的坐垫。

由于在同一投影空间100内的同一种类的现实物体10可能存在多个，比如，同一投影空间100内可能存在多张桌子，可以选择参照物进行区分，比如“请选择桌面上放置有化妆品的桌子”、“请选择旁边只有一张凳子的桌子”；可以通过物品本身的特性进行区分，比如，“请选择具有三条腿的桌子”、“请选择红色的桌子”、“请选择尺寸最小的桌子”，可以通过相对位置的方式进行区分，比如，“请选择单目相机30正前方60度方向的桌子”，或通过其他方式进行区分。

获取桌子上的花瓶和桌子上的坐垫的特征参数(包括花瓶和坐垫的尺寸、空间坐标、形状和颜色特性等)，根据桌子上的花瓶的特征参数确定一束鲜花的特征参数，根据坐垫的特征参数确定一只猫咪的特征参数，根据一束鲜花的特征参数匹配一束鲜花的图片，根据一只猫咪的特征参数匹配一只猫咪的图片，并对一束鲜花的图片和一只猫咪的图片进行图像处理。最终，根据投影设备40与桌子上的花瓶和桌子上的坐垫的位置关系调整所述投影设备40的投影方向，将一束鲜花的图片和一只猫咪的图片分别投影到桌子上的花瓶和桌子上的坐垫，使虚拟现实的结合更吻合、更逼真。

请参阅图3，图3为本发明实施例提供的一种三维建模的方法流程图。如图3所示，所述三维建模的方法应用于单目相机30，所述单目相机30与多维旋转电机20连接，所述三维建模的方法包括：

步骤S11：控制所述单目相机30按预设方式采集投影空间100的图像。

在计算机视觉系统中，三维场景信息为图像分割、目标检测、物体跟踪等各类计算机视觉应用提供了更多的可能性，而图像作为一种普遍的三维场景信息表达方式得到了广泛的应用。所述图像中的每一个像素点的灰度值可用于表征场景中某一点距离所述单目相机30的远近。

一般的，获取图像的方式包括被动测距传感和主动传感两种，其中，所述被动测距传感中最常采用的方法是双目立体视锥，该方法通过两个相隔一定具体的单目相机30同时获取同一场景中的两幅图像，通过立体匹配算法找到两幅图像中对应的像素点，随后根据三角形原理计算出时差信息，而时差信息通过转换可用于表征场景中现实物体10的信息。主动传感相较于被动测距传感最明显的特征是设备本身需要发射能量来完成信息的采集，保证了图像的获取独立于彩色图像的获取。

如图4所示，步骤S11具体包括：

步骤S111：校准所述多维旋转电机20，使所述多维旋转电机20处于起始点。

所述多维旋转电机20可以采用伺服电机，在每一次的开启采集图像前，调整所述多维旋转电机20的初始状态为多维旋转电机20的起始点，使得不同时间开启工作的多维旋转电机20采集的数据具有可比性，使得相同时间开始工作的多维旋转电机20具有同步性。

步骤S112：根据所述单目相机30的每一个三维区域预设的拍照次数、水平视角和垂直视角，分别计算所述单目相机30水平方向和垂直方向上需采集的所述图像的张数和每两张图像的间隔角度。

假设每一个三维区域预设的拍照次数为n，水平视角为(HFOV)，垂直视角为(VFOV)，那么，所述单目相机30水平方向上需采集的所述图像的张数Nh＝360°/HFOV*n，所述单目相机30水平方向上每两张图像的间隔角度Dh＝360°/Nh，所述单目相机30垂直方向上需采集的所述图像的张数Nh＝270°/VFOV*n，由于常规条件下，所述单目相机30采集到其正下方的区域，故而，在所述单目相机30垂直方向上采用270°进行计算，所述单目相机30垂直方向上每两张图像的间隔角度Dv＝360°/Nv。

在本发明实施例中，所述单目相机30的位置是不变的，通过调节与之相连的多维旋转电机20可以改变采集的维度和角度。所述三维区域即所述单目相机30的摄像机视野，所述摄像机视野与视角有关，视角是指人类、动物或者镜头所能涉及、拍摄、看到的角度，视度愈窄(角度愈小)在不动眼睛的情况下看到的视野或景物愈小，也就代表小的景物也能看到清楚，视角宽，则相反。镜头中心点到成像平面对角线两端所形成的夹角就是镜头视角，对于相同的成像面积，镜头焦距越短，其视角就越大。对于镜头来说，视角主要是指它可以实现的视角范围，当焦距变短时视角就变大了，可以拍出更宽的范围，但这样会影响较远拍摄对象的清晰度。当焦距变长时，视角就变小了，可以使较远的物体变得清晰，但是能够拍摄的宽度范围就变窄了。

请参阅图5，图5为本发明另一实施例提供的一种三维建模的方法流程图。如图5所示，所述方法还包括：

步骤S13：获取所述单目相机30的光线扭曲参数及偏移量参数。

可以理解，全方位光线投射的所述单目相机30使得所述现实物体10的图像呈现扭曲现象，所述偏移量参数指的是两幅图像中的位移，使得两幅图像的重叠区域能够完全重合。

步骤S14：根据所述光线扭曲参数和偏移量参数，校正所述图像。

步骤S15：通过焦距除法来对校正后的所述图像的点进行归一化。

所谓的归一化就是通过一系列的变化，将待处理的原始图像转换成相应的唯一标准形式，该标准形式的图像对平移、旋转、缩放等仿射变换具有不变特性。

步骤S12：根据所述图像，获取所述投影空间100的投影空间参数，并确定三维空间模型。

如图6所示，步骤S12具体包括：

步骤S121：根据所述图像，获取所述投影空间100的空间特征点和空间线条。

请一并参阅图7，步骤S121具体包括：

步骤S1211：通过任意两个所述图像间的转换关系，计算图像线条两两之间相对的三维坐标。

步骤S1212：根据所述三维坐标，获取所述投影空间的空间特征点和空间线条。

利用以上的2个步骤可以获取图8中的电话机(即现实物体10)的空间特征点和空间线条(如图9所示)。

假设所述单目相机30的相机姿态为R，所述单目相机30的标定矩阵为C，空间线条在所采集的图像中的二维坐标为[u，v]，所述空间线条的在三维空间模型中的三维坐标为[x，y，z]，可以得到[u，v]＝RC[x，y，z]。

请一并参阅图10，步骤S122具体包括：

步骤S1221：所述图像基于其所在的立体视椎铺贴所述空间线条。

视椎体是一个三维体，其位置与所述单目相机30相关，视椎体的形状决定了模型如何从相机空间投影到屏幕上，最常见的投影类型为透视投影，使得离所述单目相机30近的现实物体10投影后较大，而离所述单目相机30较远的物体投影后较小。透视投影使用棱锥作为视锥体，所述单目相机30位于棱锥的椎顶，该棱锥被前后两个平面截断，形成一个棱台。

步骤S1222：根据任意两个重叠的所述图像的立体视椎，进行所述投影空间100的空间特征点和空间线条的匹配。

步骤S123：将匹配后的所述空间线条进行分组，确定所述三维空间模型。

已知每张照片的相机变换矩阵T i，在重叠区域里两张图像的投影空间线条的三维坐标定义为L1和L2，基于极线约束对L1和L2的两张图像的相机姿态补偿，获得空间线条L1i和L2i的三维位置，其中，投影空间线条L1包括所述空间线条L1i，投影空间线条L2包括所述空间线条L2i。顺序把L1i和L2i进行匹配，覆盖率达到预设比例(比如百分之六十以上)的L1i和L2i将定义为空间里同一空间线条，将没有重叠或者覆盖率低于预设比例的空间线条L1i或L2i删除，完成所有线条的匹配过程后，将匹配后的所述空间线条进行分组，然後搜索可以转换为物理上合理的3D模型的布局。

请一并参阅图11，步骤S123具体包括：

步骤S1231：将所述空间线条根据并行性或正交性进行收敛，得到正交消失点。

步骤S1232：根据所述空间线条和所述正交消失点确定所述投影空间100的边界，确定三维空间模型。根据检测到的所述空间线条和正交消失点确定墙面的地下边界和天花板边界，基于空间设计布局，空间线条尾端连接另一空间线条的首端定义为不同墙面的连接线，两条平行的空间线条可认为其位于同一平面。从空间线条顺序生成许多物理上有效的布局假设，每个生成的假设都会得到最佳匹配空间线条的评分，最后将最佳的假设对应的最佳空间线条组合转换为三维空间模型。

步骤S1233：获取所述图像的所有图像线条，将所述图像线条整合在所述三维空间模型里，并使用线段一致性估测三维室内曼哈顿场景。

由于室内场景内普遍存在物体之间的相互遮挡以及较为明显的光照变化，加之通常情况下难以预知摄像机的参数，使得传统的算法很难通过单幅图像对室内场景进行重建。加之，大多数场景都满足的“曼哈顿特性”，即场景内的大部分平面都分布在三个相互正交的方向上，基于投票机制和灭点的二维信息与三维信息之间的交互关系逐次得到曼哈顿方向的正交灭点，摆脱了传统方法求取正交灭点时对摄像机参数的依赖，同时约束了直线检测结果的误差、直线的长度以及候选灭点与约束直线之间的位置关系对灭点检测精度造成的影响。故而，基于上述的三个步骤可以得到投影空间100对应的较为精准的三维空间模型，且可以呈现三维空间模型中的三维室内曼哈顿场景，在视觉上更为直观，提升了用户体验。步骤S13：根据所述三维空间模型和所述单目相机的预设图像识别算法，识别所述投影空间中的现实物体以及计算各所述现实物体的物体信息。

如图12所示，步骤S13具体包括：

步骤S131：根据所述三维空间模型识别所述投影空间100中的现实物体10以及所述现实物体10所处位置的三维坐标。

步骤S132：根据所述单目相机30的预设图像识别算法计算各所述现实物体10信息，所述现实物体10信息包括物体的轮廓、形状、大小和颜色。

所述投影空间100的全景图以所述多维电机20的起始点为原点，现实物体10的识别使用了室内物件数据集和学习的算法，识别出现实物体10的位置。将所述现实物体10位于图像中位置(二维坐标)转换为投影空间100中的三维坐标，并把位置信息(即所述三维坐标)和现实物体信息存于资料库，以便其他应用查询以及用于所述三维空间模型的更新。

请参阅图13，当所述现实物体信息包括物体的轮廓时，步骤S13具体包括：

步骤S133：根据所述预设图像识别算法，从所述图像识别出各个现实物体10，并且提取各所述现实物体10的物体轮廓。

其中，所述物体轮廓可以通过边缘检测得出，所述边缘检测的方法包括梯度算子、罗伯特算子、索伯算子、二阶微算子等。

步骤S134：识别各所述现实物体10是否存在遮挡。

步骤S135：若存在，则根据预设补偿算法，对存在遮挡的现实物体10的物体轮廓进行遮挡补偿。

综上，本发明在单目相机30采集图像的过程中同步进行三维空间模型的构建，当拍摄完成时即可以得出投影空间100的三维空间模型，避免当出现不准确的三维模型时需重构所述三维空间模型。

请参阅图14，图14为本发明又一实施例提供的一种三维建模的方法流程图。如图14所示，所述方法还包括：

步骤S17：接收虚拟现实投影指令。

在本发明实施例中，所述虚拟现实投影指令为语音指令，通过语音识别技术来确定虚拟物体和与之结合的现实物体10，语音识别技术涉及信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等领域。根据语音设备和通道，所述语音识别可以分为桌面语音识别、电话语音识别和嵌入式语音识别等。

可以理解的是，通过语音指令确定所需被投的虚拟物体，以及所述虚拟物体所要投影结合的现实物体10仅是本发明实施例所公开的其中一种方式，还可通过触摸控制、键盘(包括实体键盘和软键盘)输入、手势控制、虚拟空间指令输入等方式确定。

步骤S18：根据所述虚拟现实投影指令，确定投影位置以及投影物体。

在本发明实施例中，所述投影位置是所述投影空间100所对应的三维空间模型的某一个位置的三维坐标，通过识别所述语音指令中的独立词、关键词或连续语音等，可以确定所需被投的投影物体，以及所述投影物体所要投影结合的现实物体10。在一些实施例中，在提取所述语音指令中的特征之前，应当进行一定程度的降噪处理，同时，还可以进行语音增强。

所述投影物体应当在包括位置坐标、尺寸大小以及颜色特性等方面适配所述现实物体10的特征参数，使得所述投影物体投射的影像与现实物体10结合起来看起来舒适、协调、真实。所述投影物体为虚拟对象图片中的虚拟物体，虚拟对象图片可以来源于本地数据库或互联网，从特征参数的匹配上进行初步的筛选，依据语音指令中确定的虚拟物体查找本地数据库或互联网中现有的理论上最为匹配的图片资源。

步骤S19：控制投影设备40向所述投影位置投影所述投影物体。

所述现实物体10位于所述投影空间100，且是任意的一个或者多个，相对应的，被选择的所述投影物体与所述现实物体10的被选择次数一致，数量可以不一致。可以理解的是，所述投影物体与所述现实物10体存在一一对应的关系，比如，将虚拟的刀叉图片投射到投影空间100的盘子旁边，将虚拟的艺术照片投射到投影空间100的相框内。当然，也可以将多个虚拟对象图片投射于现实空间中的同一个现实物体10，比如，将虚拟的青花瓷图片投射于花瓶的瓶身，将虚拟的花束投射于花瓶的上方，或者，将至少两张虚拟水果图片投射到投影空间100的果盘中。

本发明实施例提供了一种三维建模的方法。所述三维建模的方法应用于单目相机，所述单目相机与多维旋转电机连接，通过控制单目相机按预设方式采集投影空间的图像；根据图像，获取投影空间的投影空间参数，并确定三维空间模型；根据三维空间模型和单目相机的预设图像识别算法，识别投影空间中的现实物体以及计算各现实物体的物体信息。因此，本发明能够快速准确地构建投影空间的空间三维模型，且能从该空间三维模型中识别投影空间中的现实物体以及计算各现实物体的物体信息，从而可以根据现实物体的物体信息来改变虚拟物体的大小、颜色、角度等使虚拟物体图像与现实物体的结合更吻合、更逼真。

请参阅图15，为本发明实施例提供的一种三维建模的装置示意图。如图15所示，所述三维建模的装置200应用于单目相机，所述单目相机与多维旋转电机连接，所述三维建模的装置200包括：采集单元201，用于控制所述单目相机按预设方式采集投影空间的图像。

在本发明实施例中，所述采集单元201具体用于校准所述多维旋转电机，使所述多维旋转电机处于起始点；根据所述单目相机的每一个三维区域预设的拍照次数、水平视角和垂直视角，分别计算所述单目相机水平方向和垂直方向上需采集的所述图像的张数和每两张图像的间隔角度。

确定单元202，用于根据所述图像，获取所述投影空间的投影空间参数，并确定三维空间模型。

在本发明实施例中，所述确定单元202具体用于根据所述图像，获取所述投影空间的空间特征点和空间线条；将所述空间特征点和所述空间线条进行匹配；将匹配后的所述空间线条进行分组，确定所述三维空间模型。

其中，所述根据所述图像，获取所述投影空间的空间特征点和空间线条包括：通过任意两个所述图像间的转换关系，计算图像线条两两之间相对的三维坐标；根据所述三维坐标，获取所述投影空间的空间特征点和空间线条。

所述将所述空间特征点和所述空间线条进行匹配包括：所述图像基于其所在的立体视椎铺贴所述空间线条；根据任意两个重叠的所述图像的立体视椎，进行所述投影空间的空间特征点和空间线条的匹配。

所述将匹配后的所述空间线条进行分组，确定所述三维空间模型包括：将所述空间线条根据并行性或正交性进行收敛，得到正交消失点；根据所述空间线条和所述正交消失点确定所述投影空间的边界，确定三维空间模型；获取所述图像的所有图像线条，将所述图像线条整合在所述三维空间模型里，并使用线段一致性估测三维室内曼哈顿场景。

识别与计算单元203，用于根据所述三维空间模型和所述单目相机的预设图像识别算法，识别所述投影空间中的现实物体以及计算各所述现实物体的物体信息。

在本发明实施例中，所述识别与计算单元203具体用于根据所述三维空间模型识别所述投影空间中的现实物体以及所述现实物体所处位置的三维坐标；根据所述单目相机的预设图像识别算法计算各所述现实物体信息，所述现实物体信息包括物体的轮廓、形状、大小和颜色。

当所述现实物体信息包括物体的轮廓时，根据所述预设图像识别算法，从所述图像识别出各个现实物体，并且提取各所述现实物体的物体轮廓；识别各所述现实物体是否存在遮挡；若存在，则根据预设补偿算法，对存在遮挡的现实物体的物体轮廓进行遮挡补偿。

为实现本发明实施例的基于三维建模的方法，上述装置的各个单元相互配合，采集单元201控制所述单目相机按预设方式采集投影空间的图像，确定单元202根据所述图像，获取所述投影空间的投影空间参数，并确定三维空间模型，识别与计算单元203根据所述三维空间模型和所述单目相机的预设图像识别算法，识别所述投影空间中的现实物体以及计算各所述现实物体的物体信息。

由于装置实施例和方法实施例是基于同一构思，在内容不互相冲突的前提下，装置实施例的内容可以引用方法实施例的，在此不赘述。

本发明实施例提供了一种三维建模的装置。所述三维建模的装置应用于单目相机，所述单目相机与多维旋转电机连接，通过控制单目相机按预设方式采集投影空间的图像；根据图像，获取投影空间的投影空间参数，并确定三维空间模型；根据三维空间模型和单目相机的预设图像识别算法，识别投影空间中的现实物体以及计算各现实物体的物体信息。因此，本发明能够快速准确地构建投影空间的空间三维模型，且能从该空间三维模型中识别投影空间中的现实物体以及计算各现实物体的物体信息，从而可以根据现实物体的物体信息来改变虚拟物体的大小、颜色、角度等使虚拟物体图像与现实物体的结合更吻合、更逼真。

请参阅图16，图16为本发明实施例提供的一种智能终端的结构示意图。如图16所示，该智能终端300包括一个或多个处理器301以及存储器302。其中，图16中以一个处理器301为例。

处理器301和存储器302可以通过总线或者其他方式连接，图16中以通过总线连接为例。

存储器302作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的三维建模的方法对应的程序指令/模块(例如，附图15所示的采集单元201、确定单元202以及识别与计算单元203)。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行三维建模的装置的各种功能应用以及数据处理，即实现上述方法实施例的三维建模的方法以及上述装置实施例的各个模块和单元的功能。

存储器302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据三维建模的装置的使用所创建的数据等。此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器302可选包括相对于处理器301远程设置的存储器，这些远程存储器可以通过网络连接至处理器301。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述程序指令/模块存储在所述存储器302中，当被所述一个或者多个处理器301执行时，执行上述任意方法实施例中的三维建模的方法，例如，执行以上描述的图3中的方法步骤S11至步骤S13；也可实现附图15所述的各个模块或单元的功能。

作为本发明实施例的另一方面，本发明实施例还提供一种非易失性计算机可读存储介质。非易失性计算机可读存储介质存储有智能终端可执行指令，所述计算机可执行指令用于使智能终端执行上述实施例的三维建模的方法，以达到能够快速准确地构建投影空间的空间三维模型，且能从该空间三维模型中识别投影空间中的现实物体以及计算各现实物体的物体信息，从而可以根据现实物体的物体信息来改变虚拟物体的大小、颜色、角度等使虚拟物体图像与现实物体的结合更吻合、更逼真。

上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。

以上所描述的系统或设备实施例仅仅是示意性的，其中所述作为分离部件说明的单元模块可以是或者也可以不是物理上分开的，作为模块单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络模块单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用至少一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (11)

1.一种三维建模的方法，应用于单目相机，所述单目相机与多维旋转电机连接，其特征在于，包括：

控制所述单目相机按预设方式采集投影空间的图像；

根据所述图像，获取所述投影空间的投影空间参数，并确定三维空间模型；

根据所述三维空间模型和所述单目相机的预设图像识别算法，识别所述投影空间中的现实物体以及计算各所述现实物体的物体信息。

2.根据权利要求1所述的方法，其特征在于，

所述控制所述单目相机按预设方式采集投影空间的图像包括：

校准所述多维旋转电机，使所述多维旋转电机处于起始点；

根据所述单目相机的每一个三维区域预设的拍照次数、水平视角和垂直视角，分别计算所述单目相机水平方向和垂直方向上需采集的所述图像的张数和每两张图像的间隔角度。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述单目相机的光线扭曲参数及偏移量参数；

根据所述光线扭曲参数和偏移量参数，校正所述图像；

通过焦距除法来对校正后的所述图像的点进行归一化。

4.根据权利要求1所述的方法，其特征在于，所述根据所述图像，获取所述投影空间的投影空间参数，并确定三维空间模型包括：

根据所述图像，获取所述投影空间的空间特征点和空间线条；

将所述空间特征点和所述空间线条进行匹配；

将匹配后的所述空间线条进行分组，确定所述三维空间模型。

5.根据权利要求4所述的方法，其特征在于，所述根据所述图像，获取所述投影空间的空间特征点和空间线条包括：

通过任意两个所述图像间的转换关系，计算图像线条两两之间相对的三维坐标；

根据所述三维坐标，获取所述投影空间的空间特征点和空间线条。

6.根据权利要求4所述的方法，其特征在于，所述将所述空间特征点和所述空间线条进行匹配包括：

所述图像基于其所在的立体视椎铺贴所述空间线条；

根据任意两个重叠的所述图像的立体视椎，进行所述投影空间的空间特征点和空间线条的匹配。

7.根据权利要求4所述的方法，其特征在于，所述将匹配后的所述空间线条进行分组，确定三维空间模型包括：

将所述空间线条根据并行性或正交性进行收敛，得到正交消失点；

根据所述空间线条和所述正交消失点确定所述投影空间的边界，确定三维空间模型；

获取所述图像的所有图像线条，将所述图像线条整合在所述三维空间模型里，并使用线段一致性估测三维室内曼哈顿场景。

8.根据权利要求1所述的方法，其特征在于，所述根据所述三维空间模型和所述单目相机的预设图像识别算法，识别所述投影空间中的现实物体以及计算各所述现实物体的物体信息包括：

根据所述三维空间模型识别所述投影空间中的现实物体以及所述现实物体所处位置的三维坐标；

根据所述单目相机的预设图像识别算法计算各所述现实物体信息，所述现实物体信息包括物体的轮廓、形状、大小和颜色。

9.根据权利要求1所述的方法，其特征在于，

当所述现实物体信息包括物体的轮廓时，

根据所述预设图像识别算法，从所述图像识别出各个现实物体，并且提取各所述现实物体的物体轮廓；

识别各所述现实物体是否存在遮挡；

若存在，则根据预设补偿算法，对存在遮挡的现实物体的物体轮廓进行遮挡补偿。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收虚拟现实投影指令；

根据所述虚拟现实投影指令，确定投影位置以及投影物体；

控制投影设备向所述投影位置投影所述投影物体。

11.一种三维建模的装置，应用于单目相机，所述单目相机与多维旋转电机连接，其特征在于，包括：

采集单元，用于控制所述单目相机按预设方式采集投影空间的图像；

确定单元，用于根据所述图像，获取所述投影空间的投影空间参数，并确定三维空间模型；

识别与计算单元，用于根据所述三维空间模型和所述单目相机的预设图像识别算法，识别所述投影空间中的现实物体以及计算各所述现实物体的物体信息。