CN115937483A - 基于虚拟现实的二维图像中立体物体变换方法及装置 - Google Patents

Abstract

本发明提供了基于虚拟现实的二维图像中立体物体变换方法及装置，所述方法包括：获取对应于二维图像的三维点云，以及二维图像中需要被缩放的立体物体；根据用户针对立体物体的操作指令对立体物体对应的三维点云进行缩放处理；将缩放后的三维点云对应的立体影像降维后贴图至二维图像中。应用本发明实施例，提高了用户体验。

Description

基于虚拟现实的二维图像中立体物体变换方法及装置

技术领域

本发明涉及虚拟现实技术领域，具体涉及基于虚拟现实的二维图像中立体物体变换方法及装置。

背景技术

在一些应用场景如产品效果展示中，需要对二维图像中的某些目标进行放大处理，在进行目标放大时，图像中的其他物体不产生变化。

现有技术中，文献号为CN111626920A的发明专利申请公开了一种图片处理方法、装置及电子设备：识别待处理的图片中人体的头部区域和身体区域，其中，所述身体区域为所述人体的除了所述头部区域之外的区域；将所述图片中人体的头部区域进行放大处理：以经过放大处理后的头部区域的下边界线作为所述身体区域的上边界线，将所述身体区域进行缩小处理。其中，所述将所述图片中人体的头部区域进行放大处理的步骤，包括：确定所述头部区域的第一方向和第二方向，其中，所述第一方向为与所述头部区域的下边界线平行的方向，所述第二方向为与所述头部区域的下边界线垂直的方向；在所述头部区域的头部中心点，沿所述第一方向向两端拉伸所述头部区域：在所述头部区域的头部中心点，沿所述第二方向向两端拉伸所述头部区域。

也就是说，现有技术是直接在用户设定的方向上对二维图像的立体物体对应的局部区域进行拉伸处理，但是，对二维图像中对应于目立体物体的区域直接进行放大时，并没有考虑到立体物体进行放大后，其不同部分相对于二维图像拍摄镜头的距离的变化，导致二维图像中放大后的立体物体的真实性较低，进而导致用户体验不佳。

发明内容

本发明所要解决的技术问题在于如何使二维图像中放大后的立体物体的真实性更高。

本发明通过以下技术手段实现解决上述技术问题的：

本发明提供了基于虚拟现实的二维图像中立体物体变换方法，所述方法包括：

获取对应于二维图像的三维点云，以及二维图像中需要被缩放的立体物体；

根据用户针对立体物体的操作指令对立体物体对应的三维点云进行缩放处理；将缩放后的三维点云对应的立体影像降维后贴图至二维图像中。

可选的，所述获取对应于二维图像的三维点云，包括：

在拍摄二维图像时拍摄对应的三维点云，或者，

根据用户的操作指令选中的立体物体，提取出对应于立体物体的二维图像区域中包含的第一物体特征；并提取出三维点云中包含的各个物体特征子集；

根据第一物体特征与各个物体特征子集的匹配度筛选出与第一物体特征匹配的物体特征子集，将该物体特征子集作为第二特征，根据第二特征的分布范围获取立体物体对应的三维点云，其中，第一物体特征与第二物体特征分别包括：边缘、拐点、比例关系中的一种或组合。

可选的，在根据用户针对立体物体的操作指令对立体物体对应的三维点云进行缩放处理之前，所述方法还包括：

将第一物体特征与第二物体特征进行匹配，得到第二物体特征相对于第一物体特征的变换矩阵；并根据所述变换矩阵对三维点云进行变换处理，得到变换后的三维点云，从变换后的三维点云中获取立体物体对应的变换后的三维点云。

可选的，所述将缩放后的三维点云对应的立体影像降维后贴图至二维图像中，包括：

在用户的操作指令为放大指令时，根据二维图像中像素分布将放大后的三维点云渲染为物体第一三维图像，将物体第一三维图像降维为二维贴图并贴图至二维图像中的对应位置。

可选的，所述根据二维图像中像素分布将放大后的三维点云渲染为物体第一三维图像，包括：

根据立体物体在二维图像中像素分布对放大后的三维点云进行色彩渲染，得到色彩渲染图；

根据放大前的立体物体的光照分布特征计算出光照方向，根据所述光照方向估算出光源位置，其中，所述光照分布特征包括：阴影方向特征、阴影长度特征、共物体平面的像素点亮度变化特征中的一种或组合。

基于所述光源位置对色彩渲染图的光照进行二次渲染，得到物体第一三维图像。

可选的，所述根据用户针对立体物体的操作指令对立体物体对应的三维点云进行缩放处理；将缩放后的三维点云对应的立体影像降维后贴图至二维图像中，包括：

在用户针对立体物体的操作指令为缩小指令时，获取立体物体缩小后相对于缩小前所空缺出的图像区域；

获取与所述图像区域关联的临近物体的残缺点云，并根据临近物体的结构规则进行残缺点云的补齐得到临近物体的三维点云，根据临近物体中像素分布，或者根据同类型物体的像素分布将临近物体的三维点云渲染为第二三维图像，将渲染后的第二三维点云降维为二维贴图并贴图至二维图像中的对应区域；

将立体物体对应的三维点云进行缩小处理，并根据二维图像中像素分布将缩小后的三维点云渲染为第三三维图像，将渲染后的第三三维图像降维为二维贴图并贴图至二维图像中的对应于立体物体的区域。

可选的，所述根据二维图像中像素分布将缩小后的三维点云渲染为第三三维图像，包括：

根据立体物体在二维图像中像素分布对缩小后的三维点云进行色彩渲染，得到色彩渲染图；

根据缩小前的立体物体的光照分布特征计算出光照方向，根据所述光照方向估算出光源位置，其中，所述光照分布特征包括：阴影方向特征、阴影长度特征、共物体平面的像素点亮度变化特征中的一种或组合。

基于所述光源位置对色彩渲染图的光照进行二次渲染，得到物体第三三维图像。

本发明实施例还提供了基于虚拟现实的二维图像中立体物体变换装置，所述装置包括：

获取模块，用于获取对应于二维图像的三维点云，以及二维图像中需要被缩放的立体物体；

贴图模块，用于根据用户针对立体物体的操作指令对立体物体对应的三维点云进行缩放处理；将缩放后的三维点云对应的立体影像降维后贴图至二维图像中。

可选的，所述获取模块，用于：

在拍摄二维图像时拍摄对应的三维点云，或者，

根据用户的操作指令选中的立体物体，提取出对应于立体物体的二维图像区域中包含的第一物体特征；并提取出三维点云中包含的各个物体特征子集；

根据第一物体特征与各个物体特征子集的匹配度筛选出与第一物体特征匹配的物体特征子集，将该物体特征子集作为第二特征，根据第二特征的分布范围获取立体物体对应的三维点云，其中，第一物体特征与第二物体特征分别包括：边缘、拐点、比例关系中的一种或组合。

可选的，所述装置还包括匹配模块，用于：

将第一物体特征与第二物体特征进行匹配，得到第二物体特征相对于第一物体特征的变换矩阵；并根据所述变换矩阵对三维点云进行变换处理，得到变换后的三维点云，从变换后的三维点云中获取立体物体对应的变换后的三维点云。

本发明的优点在于：

应用本发明实施例，根据需要放大的立体物体的二维影像得到其对应的三维点云，对三维点云进行缩放处理，由于三维点云中包含了深度信息，因此在进行缩放时会同步改变立体物体相对于观察者的距离信息，进而使放大后的立体物体的贴图更加贴近人的视觉透视效果，提高了用户体验。

附图说明

图1为本发明实施例提供的基于虚拟现实的二维图像中立体物体变换方法的流程示意图；

图2为本发明实施例提供的变换效果示意图；

图3为本发明实施例提供的基于虚拟现实的二维图像中立体物体变换装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

本发明实施例1首先对二维图像中立体物体的放大过程进行介绍：

图1为本发明实施例提供的基于虚拟现实的二维图像中立体物体变换方法的流程示意图，如图1所示，所述方法包括：

S101：获取对应于二维图像的三维点云，以及二维图像中需要被缩放的立体物体。

示例性的，第一方面，现在智能手机大多都带有深度镜头如结构光镜头、飞行时间镜头或者激光雷达镜头等。因此，可以在用户使用手机的光学镜头拍摄立体物体的二维图像的同时，还可以使用智能手机携带的深度镜头拍摄同一取景范围的三维点云图。本发明该实施例优选适用于，取景范围内物体短时间内没有变化的场景。

用户在看到二维之后，需要对该图像中包含的汽车进行放大处理，则用户在手机界面上点击汽车的位置，手机根据用户点击的位置识别出用户需要放大的物体。可以理解的是，在用户使用手机拍摄了光学图像之后，可以利用图像分割算法，如神经网络算法对二维的光学图像进行分割，得到二维图像中包含的各个物体的图像分块，然后根据用户点击的位置识别出用户选择的立体物体是哪个。然后，在手机拍摄的汽车的光学图像分块中进行第一特征的识别。在实际应用中，可以使用边缘检测算法检测边缘以识别出轮廓线，进而识别出轮廓线的拐点；还可以使用预先训练的神经网络模型中的卷积层识别出光学图像中包含的其他特征，如圆形轮廓特征、轮胎中心特征、车辆轮廓边缘以及轮廓拐点特征、车辆挡风玻璃边缘特征、车窗边缘特征、以及车窗角点特征、车灯边缘特征，车灯拐点特征等。

然后，对深度图像中包含的各个物体的特征进行识别，将每一个物体的特征归类为一个特征子集，得到若干个特征子集。每一个特征子集中可以包括：轮胎圆形轮廓特征、轮胎中心特征、车辆轮廓边缘以及轮廓拐点特征、车辆挡风玻璃边缘特征、车窗边缘特征、以及车窗角点特征、车灯边缘特征，车灯拐点特征、车辆进气格栅的行数，格栅之间间隔，以及车牌位置特征，车牌上的数字特征等等。可以使用AKAZE、ORB、SIFT、SURF等图像特征提取算法实现第一特征。

然后，将每一个特征子集中的特征与第一特征进行匹配，若第一特征中大于设定比例的特征能够与该特征子集匹配上，则说明二者描述的可能是同一个立体物体，因此，可以将该特征子集作为第二特征。需要强调的是，当特征子集中的特征比较简单时，例如，立体物体为桌椅板凳、常规建筑等形状轮廓较为简单的形状时，匹配过程可以为直接进行拐点、边缘的匹配；当特征子集中的特征比较复杂时，如带有一定艺术造性的建筑、树木、带有复杂曲面的构件等，可以将特征子集中的特征进行降维处理，得到不同视角下的低维度特征，再将低维度特征与第一物体特征进行特征匹配。相机位置可以在二维图像拍摄时获取，进而可以根据相机位置确定视角。

然后，将与第一物体特征匹配的特征子集作为第二物体特征，然后，根据第二物体特征在三维点云中的所处位置形成的包裹区域中的点云作为立体物体的三维点云。之所以根据第二物体特征获取对应的三维点云而不是将匹配的特征子集对应的物体的三维点云作为立体物体的三维点云的原因为：由于视角的关系，用户可能仅能观察到立体物体的部分表面，因此，无需对用户观察不到的部分的点云进行处理，这样可以降低计算量，提高处理效率。

在本发明实施例中，立体物体可以为树木、建筑、花坛、雕塑、手机、茶杯、桌子、墙面、门等，并不仅限于汽车。

可以理解的是，在智能手机上，深度镜头通常与普通光学镜头一起安装在手机背面，二者距离仅为1-2厘米，因此，在低精度场景下可以认为二者拍摄的图像是匹配的，无需对该场景的点云图进行配准。当然，在对精度要求比较高的应用场景，如立体物体表面细节较为丰富的情况下，如果不对深度镜头进行校准会导致深度图与光学图像之间的偏差导致某些细节产生重影，则需要考虑两个镜头之间的距离以及用户手部抖动带来的误差。在实际应用中，深度图中记载了取景范围内物体各点上相对于深度镜头的坐标，可以根据该坐标以及两个镜头之间的相对坐标进行深度图各点云的校准；进一步的，为了校准用户手部抖动导致的姿态变化，可以参考所读取的手机内部姿态传感器的数据，该过程可以使用现有的几何算法实现，本发明实施例在此不再进行赘述。

第二方面，当使用其他设备拍摄的针对同一取景范围的深度图时，例如，可以使用深度镜头预先拍摄有室内包含各个物体的深度图；或者适用于具有其他与光学相机配合达到比较好的实时性的深度镜头得到的深度图，例如，在现有的室外光学监控的基础上，在临近位置或者方向加装一个或者多个深度镜头进行实时或者近实时深度图像的拍摄。

在此种情况下，需要通过如下步骤获取立体物体的三维点云：

首先获取用户的操作指令所选中的立体物体对应的区域，然后，从光学图像中提取出对应于立体物体的二维图像区域中包含的第一物体特征。

然后，对深度图进行坐标转换，根据深度镜头相对于光学镜头的方位以及距离将深度图转换到光学镜头视角下的深度图，然后再将深度图进行分割，并利用特征提取算法提取出分割后的点云中包含的所有物体的特征，根据每一个物体将对应的特征分成对应的特征子集，再进行特征子集与第一物体特征的匹配。

在无法获知深度镜头相对于光学镜头的方位以及距离时，首先针对每一个特征子集，将特征子集中的低维特征与第一物体特征中的低维特征进行匹配，筛选出与第一物体特征比较接近的特征子集，通常情况下，低维特征是指点、线等。然后，再针对每一个比较接近的特征子集，再在各个视角下将特征子集中的高维特征进行转换，再将转换后的高维特征与第一物体特征中的高维特征进行匹配。在实际应用中，还可以将特征子集中的特征进行降维处理，得到不同视角下的低维度特征，再将低维度特征与第一物体特征进行特征匹配。

S102：根据用户针对立体物体的操作指令对立体物体对应的三维点云进行缩放处理；将缩放后的三维点云对应的立体影像降维后贴图至二维图像中。

示例性的，在用户的操作指令为放大指令时，根据用户的操作，如两个手指之间的相对距离变化得到放大比例，然后将三维点云按照放大比例进行放大处理，得到放大后的三维点云。然后根据三维点云中各部分与二维图像中立体物体的各部分的对应关系，将二维图像中的色彩对应渲染到三维点云中，得到第一三维图像：例如，车辆前机盖为白色，则将三维点云中对应车辆前机盖的点云拟合成的平面渲染为同样的白色。然后将第一三维图像按照光学图像的视角降维处理为二维贴图，并将该二维贴图贴在二维图像中立体物体所在位置。

进一步的，考虑到立体物体放大后其光照效果的变化，本发明实施例中还可以先根据立体物体在二维图像中像素分布对放大后的三维点云进行色彩渲染，得到色彩渲染图。

然后，根据阴影方向特征、阴影长度特征、共物体平面的像素点亮度变化特征中的一种或组合，使用郑毅发表的《增强现实光照方向估计方法评述与展望》中提供的方法估计出光照方向，然后根据光照方向之间的交点估算出光源位置。对于面光源，或者太阳等不存在光照方向之间的交点的光源则根据光照方向进行二次渲染即可。

图2为本发明实施例提供的变换效果示意图，图2中的(a)为未经放大的原图，图2中的(b)为放大后的结果，可以看出，(a)中与(b)中的反光区域的比例并不等于两个圆环的直径比例，也就是说，二者并不是简单的进行区域拉伸，因此，相对于现有技术更加贴近于人眼实际观察到的效果。

基于所述光源位置对色彩渲染图的光照进行二次渲染，得到物体第一三维图像。然后将物体的第一三维图像降维为二维贴图并贴图至二维图像中的对应位置。本发明实施例中考虑了光照对物体的影响，进而可以是放大后的物体更加逼真，提高视觉效果。

为了便于对本发明实施例技术方案的理解，本发明实施例在此就本发明实施例的几个典型应用场景进行简要介绍：

在自然场景的图像中，目标和背景一般处于不同的深度中，利用图像深度信息不仅能更好的描述场景中的对象，而且能更有效的表达前景和背景信息，进而可以依据该前景与背景信息实现取景范围内的物体之间的高效分割与识别，进而可以用于警务系统中的嫌疑人和/或嫌疑车辆的锁定，反恐系统中的不明物体识别等。以不明物体识别为例，在或者火车站、货物堆场、物流中心等场景中物体数量种类较多，且物体的相似性比较高，人工逐一识别效率较低，且出现错误的可能性较高；因此，现有技术中多使用视觉算法加持的人工智能系统进行识别，但是，在识别出可疑物体之后，如何让用户快速的确定该可疑物体是一个亟待解决的技术问题。现有技术中通常是使用标注框进行框选各个物体，但是取景范围内存在多个或者很多个物体时，标准框的数量会有很多，进而导致用户不能快速锁定不明物体。本发明实施例中，将不明物体进行放大显示，放大的倍率可以根据用户的实际设置进行调节，放大后的物体其异于普通物体的尺寸可以更加醒目，方便用户快速锁定该不明物体。进一步的，在本发明实施例中，可以循环显示该不明物体的原来尺寸的原始图像以及放大后的图像，循环间隔可以为1秒，或者1.5秒等。更进一步的，还可以对放大后的图像进行色彩的标注，即循环显示原始色彩原始尺寸的不明物体，然后设定间隔之后显示放大后的经过色彩渲染后的不明物体的图像。

需要强调的是，上述显示方式可以应用的领域包括但不仅限于智慧警务、还可以应用于行车安全辅助系统。

本发明实施例还可以用于基于虚拟现实的警务FPS(First Person Shooting，第一人称射击)模拟训练系统中的目标显示上，如在10m手枪射击训练中，对于训练难度等级较低的设置条件，将游戏目标放大显示；对于训练难度等级较高的设置条件，将游戏目标缩小显示，进而实现对不同岗位、不同技能等级的警员进行个性化训练。

类似的，本发明实施例还适用于弱视人士的视觉增强，例如，用户使用电子设备拍摄取景范围，然后在光学图像中选择出感兴趣的目标物体，然后电子设备应用本发明实施例进行目标物体的放大，方便用户观察了解。

同样的，本发明实施例还适用于行车安全辅助系统中的道路障碍预警。现有的依托视觉识别的障碍物识别系统，其基本原理为：利用车辆的行车记录仪或者其他高清探头拍摄车辆前方、左右前方的图像，然后利用图像识别算法识别出各个物体，同时利用激光雷达或者双目视觉算法识别出物体的距离，然后判断各个物体相相对于车辆的距离，或者判断各个物体是否位于车辆的行驶路径上，如果物体可能影响到行车安全，则在所拍摄的图像中使用醒目的色彩将该物体进行突出显示。但是，发明人发现，真实世界中的颜色是多种多样的，而且采用颜色醒目显示需要识别出障碍物附近的其他物体的色彩，运算过程复杂，耗时较多，效率较低，且在夜间很难识别或者无法识别出物体的色彩，进而导致无法对障碍物进行色彩醒目标识，因此，现有技术存在效率较低，以及应用场景仅限于白天的技术问题。而具有本发明实施例原理的车辆在行车过程中，利用车载拍摄终端拍摄取景范围内的各个物体如车辆、人、动物、建筑、树木、石块等，在识别出某障碍物可能影响行车安全时，对该物体进行放大显示，无需依赖色彩，进而解决了应用场景受限的技术问题，同时，使用几何运算过程替代了色彩识别算法，运算效率更高。进一步的，为了更加醒目的向用户展示障碍物，可使用色彩对放大后的障碍物进行色彩渲染，以更加醒目的向用户展示该立体物体。

实施例2

本发明实施例2在实施例1的基础上，在S102步骤之前，所述方法增加了以下步骤：

当深度镜头的深度镜头与光学镜头之间的方位差或者距离差距比较远，而且无法获知二者之间的方位差以及距离时，则无法使用几何的方法对深度图进行校正，因此，本发明实施例基于第一物体特征与第二物体特征匹配的方式得到第二物体特征相对于第一物体特征的变换矩阵；并根据所述变换矩阵对三维点云进行变换处理，得到变换后的三维点云，从变换后的三维点云中获取立体物体对应的变换后的三维点云。

可以理解的是，深度镜头与光学镜头之间的方位差不能差距太大，也就是说，深度镜头拍摄的深度图中与光学镜头拍摄的二维光学图中，针对同一立体物体的应当存在共同的特征，即第一特征与第二特征之间应当存在类似于交集的能够用于特征匹配的特征。

在实际应用中，可以使用FLANN+KNN实现图像特征的对齐与校准。

实施例3

基于本发明实施例1，本发明实施例3对二维图像中立体物体的缩小过程进行介绍：

在一些场景中，例如，用户已经对该立体物体进行了处理，为了避免该立体物体的存在对其他立体物体的处理造成视觉干扰，本发明实施例中对该立体物体进行缩小处理：

本发明实施例3在实施例1的基础上增加了以下步骤：

首先，在用户针对立体物体的操作指令为缩小指令时，获取立体物体缩小后相对于缩小前所空缺出的图像区域；

然后，获取与所述图像区域关联的临近物体的残缺点云，例如，可以将被立体物体遮挡的其他立体物体作为临近物体，或者与立体物体存在视觉交叉的其他立体物体作为临近物体。

然后，根据临近物体的结构规则进行残缺点云的补齐得到临近物体的三维点云，例如，建筑的结构规则通常为平面与曲面的组合，或者平面与平面的组合；车辆通常为圆柱形车轮与盒状结构的组合；桌子通常为板与立柱的组合；根据这些组合规则，可以与被遮挡的平面进行延伸处理，利用平面与平面之间的闭合、交叉关系进而实现对应点云的大致补齐操作。在实际应用中，在临近物体被遮挡的部分进行点云补齐时，可以将一些其他视角或者方位已知的深度镜头拍摄的深度图映射过来作为参考或者补充，当然，各个深度镜头之间的相对方位以及高度关系应当是预先标定好的。

然后，根据临近物体中像素分布，或者根据同类型物体的像素分布将临近物体的三维点云渲染为第二三维图像，将渲染后的第二三维点云降维为二维贴图并贴图至二维图像中的对应区域；

在本步骤中可以先渲染立体物体对应的三维点云，但是这样处理导致渲染的面积较大，导致运算量较大。为了降低运算量提高渲染速度，本发明实施例中先将立体物体对应的三维点云进行缩小处理，再根据二维图像中像素分布将缩小后的三维点云渲染为第三三维图像。然后，将渲染后的第三三维图像降维为二维贴图并贴图至二维图像中的对应于立体物体的区域。这样减少了渲染的面积，提高了渲染效率。具体的渲染过程与实施例1中的渲染过程相同，本发明实施例在此不再赘述。

类似的，可以根据立体物体在二维图像中像素分布对缩小后的三维点云进行色彩渲染，得到色彩渲染图；

根据缩小前的立体物体的光照分布特征计算出光照方向，根据所述光照方向估算出光源位置，其中，所述光照分布特征包括：阴影方向特征、阴影长度特征、共物体平面的像素点亮度变化特征中的一种或组合。

基于所述光源位置对色彩渲染图的光照进行二次渲染，得到物体第三三维图像。

图2为本发明实施例提供的变换效果示意图，图2中的(a)为未经放大的原图，图2中的(c)为缩小后的结果，可以看出，(a)中与(c)中的反光区域的比例并不等于两个圆环的直径比例，也就是说，二者并不是简单的进行区域缩小，因此，相对于现有技术更加贴近于人眼实际观察到的效果。

在实际应用中，对于缩小圆环后空出的区域进行模拟生成，虽然模拟结果与实际结果存在一定的差距，但是作为背景的木板并不是用户观察的主要对象，因此，并不会对用户造成明显的不适感。而且，木板纹路属于连续性较高的特征，因此，可以利用现有的木板纹理仿真算法实现。或者使用其他纹理结构类似区域的像素填充过来使用。

实施例4

与本发明实施例1相对应，本发明实施例4还提供了基于虚拟现实的二维图像中立体物体变换装置，所述装置包括：

获取模块301，用于获取对应于二维图像的三维点云，以及二维图像中需要被缩放的立体物体；

贴图模块302，用于根据用户针对立体物体的操作指令对立体物体对应的三维点云进行缩放处理；将缩放后的三维点云对应的立体影像降维后贴图至二维图像中。

在本发明实施例的一种具体实施方式中，所述获取模块301，用于：

在拍摄二维图像时拍摄对应的三维点云，或者，

根据用户的操作指令选中的立体物体，提取出对应于立体物体的二维图像区域中包含的第一物体特征；并提取出三维点云中包含的各个物体特征子集；

根据第一物体特征与各个物体特征子集的匹配度筛选出与第一物体特征匹配的物体特征子集，将该物体特征子集作为第二特征，根据第二特征的分布范围获取立体物体对应的三维点云，其中，第一物体特征与第二物体特征分别包括：边缘、拐点、比例关系中的一种或组合。

在本发明实施例的一种具体实施方式中，所述装置还包括匹配模块，用于：

将第一物体特征与第二物体特征进行匹配，得到第二物体特征相对于第一物体特征的变换矩阵；并根据所述变换矩阵对三维点云进行变换处理，得到变换后的三维点云，从变换后的三维点云中获取立体物体对应的变换后的三维点云。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.基于虚拟现实的二维图像中立体物体变换方法，其特征在于，所述方法包括：

获取对应于二维图像的三维点云，以及二维图像中需要被缩放的立体物体；

根据用户针对立体物体的操作指令对立体物体对应的三维点云进行缩放处理；将缩放后的三维点云对应的立体影像降维后贴图至二维图像中。

2.根据权利要求1所述的基于虚拟现实的二维图像中立体物体变换方法，其特征在于，所述获取对应于二维图像的三维点云，包括：

在拍摄二维图像时拍摄对应的三维点云，或者，

根据用户的操作指令选中的立体物体，提取出对应于立体物体的二维图像区域中包含的第一物体特征；并提取出三维点云中包含的各个物体特征子集；

根据第一物体特征与各个物体特征子集的匹配度筛选出与第一物体特征匹配的物体特征子集，将该物体特征子集作为第二特征，根据第二特征的分布范围获取立体物体对应的三维点云，其中，第一物体特征与第二物体特征分别包括：边缘、拐点、比例关系中的一种或组合。

3.根据权利要求2所述的基于虚拟现实的二维图像中立体物体变换方法，其特征在于，在根据用户针对立体物体的操作指令对立体物体对应的三维点云进行缩放处理之前，所述方法还包括：

将第一物体特征与第二物体特征进行匹配，得到第二物体特征相对于第一物体特征的变换矩阵；并根据所述变换矩阵对三维点云进行变换处理，得到变换后的三维点云，从变换后的三维点云中获取立体物体对应的变换后的三维点云。

4.根据权利要求1所述的基于虚拟现实的二维图像中立体物体变换方法，其特征在于，所述将缩放后的三维点云对应的立体影像降维后贴图至二维图像中，包括：

在用户的操作指令为放大指令时，根据二维图像中像素分布将放大后的三维点云渲染为物体第一三维图像，将物体第一三维图像降维为二维贴图并贴图至二维图像中的对应位置。

5.根据权利要求4所述的基于虚拟现实的二维图像中立体物体变换方法，其特征在于，所述根据二维图像中像素分布将放大后的三维点云渲染为物体第一三维图像，包括：

根据立体物体在二维图像中像素分布对放大后的三维点云进行色彩渲染，得到色彩渲染图；

根据放大前的立体物体的光照分布特征计算出光照方向，根据所述光照方向估算出光源位置，其中，所述光照分布特征包括：阴影方向特征、阴影长度特征、共物体平面的像素点亮度变化特征中的一种或组合。

基于所述光源位置对色彩渲染图的光照进行二次渲染，得到物体第一三维图像。

6.根据权利要求1所述的基于虚拟现实的二维图像中立体物体变换方法，其特征在于，所述根据用户针对立体物体的操作指令对立体物体对应的三维点云进行缩放处理；将缩放后的三维点云对应的立体影像降维后贴图至二维图像中，包括：

在用户针对立体物体的操作指令为缩小指令时，获取立体物体缩小后相对于缩小前所空缺出的图像区域；

获取与所述图像区域关联的临近物体的残缺点云，并根据临近物体的结构规则进行残缺点云的补齐得到临近物体的三维点云，根据临近物体中像素分布，或者根据同类型物体的像素分布将临近物体的三维点云渲染为第二三维图像，将渲染后的第二三维点云降维为二维贴图并贴图至二维图像中的对应区域；

将立体物体对应的三维点云进行缩小处理，并根据二维图像中像素分布将缩小后的三维点云渲染为第三三维图像，将渲染后的第三三维图像降维为二维贴图并贴图至二维图像中的对应于立体物体的区域。

7.根据权利要求6所述的基于虚拟现实的二维图像中立体物体变换方法，其特征在于，所述根据二维图像中像素分布将缩小后的三维点云渲染为第三三维图像，包括：

根据立体物体在二维图像中像素分布对缩小后的三维点云进行色彩渲染，得到色彩渲染图；

根据缩小前的立体物体的光照分布特征计算出光照方向，根据所述光照方向估算出光源位置，其中，所述光照分布特征包括：阴影方向特征、阴影长度特征、共物体平面的像素点亮度变化特征中的一种或组合。

基于所述光源位置对色彩渲染图的光照进行二次渲染，得到物体第三三维图像。

8.基于虚拟现实的二维图像中立体物体变换装置，其特征在于，所述装置包括：

获取模块，用于获取对应于二维图像的三维点云，以及二维图像中需要被缩放的立体物体；

贴图模块，用于根据用户针对立体物体的操作指令对立体物体对应的三维点云进行缩放处理；将缩放后的三维点云对应的立体影像降维后贴图至二维图像中。

9.根据权利要求8所述的基于虚拟现实的二维图像中立体物体变换装置，其特征在于，所述获取模块，用于：

在拍摄二维图像时拍摄对应的三维点云，或者，

根据用户的操作指令选中的立体物体，提取出对应于立体物体的二维图像区域中包含的第一物体特征；并提取出三维点云中包含的各个物体特征子集；

根据第一物体特征与各个物体特征子集的匹配度筛选出与第一物体特征匹配的物体特征子集，将该物体特征子集作为第二特征，根据第二特征的分布范围获取立体物体对应的三维点云，其中，第一物体特征与第二物体特征分别包括：边缘、拐点、比例关系中的一种或组合。

10.根据权利要求9所述的基于虚拟现实的二维图像中立体物体变换装置，其特征在于，所述装置还包括匹配模块，用于：

将第一物体特征与第二物体特征进行匹配，得到第二物体特征相对于第一物体特征的变换矩阵；并根据所述变换矩阵对三维点云进行变换处理，得到变换后的三维点云，从变换后的三维点云中获取立体物体对应的变换后的三维点云。

Images