CN110392251B - 一种基于虚拟现实的动态投影方法及系统 - Google Patents

Abstract

本发明涉及虚拟现实技术领域，公开了一种基于虚拟现实的动态投影方法及系统。所述基于虚拟现实的动态投影方法包括：采集现实空间图像，构建空间三维模型；确定所需被投的虚拟对象，以及所述虚拟对象所要投影结合的现实物体，其中所述现实物体位于所述现实空间；获取所述现实物体的特征参数，根据所述现实物体的特征参数查找与所述特征参数匹配的虚拟对象图片；根据投影机与所述现实物体的位置关系调整所述投影机的投影方向，将所述虚拟对象图片以固定尺寸投影到所述现实物体。本发明能够实现虚拟对象图片的投影图像大小固定，虚拟现实融合协调、逼真，进而提升用户体验。

Description

一种基于虚拟现实的动态投影方法及系统

技术领域

本发明涉及虚拟现实技术领域，特别是涉及一种基于虚拟现实的动态投影方法及系统。

背景技术

虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。

随着科学技术的发展和人民生活水平的不断提高，人们对视觉感受方面的要求越来越高。一方面，人们对人机界面的显示器件的要求越来越向着多视角以及大屏高分辨率的方向发展；另一方面，在显示效果上，人们又倾向于追求增强现实、身临其境的视觉享受，在操作上，追求人工智能，方便快捷。

发明人在实现本发明的过程中，发现相关技术存在以下问题：在实际的动态投影应用中，若虚拟对象和现实物体的空间匹配度存在误差，由于人眼对于这种误差非常的敏感，这种误差会让用户产生虚拟现实结合不协调、不逼真的感觉，使得用户体验较差。尤其是在传统投影设备的动向投影中，虚拟对象图像随着投影机与投影平面所成的距离、角度等的改变，使投影出来的虚拟对象图像大小、形状随之改变，从而导致投影出来的虚拟对象图像与现实空间的现实物体之间的比例大小不符合常规、视觉体验差，达不到虚拟现实融合的初衷。例如：在投影机与投影平面角度一定的情况下，要将虚拟苹果图像投影到现实空间中的果盘，常规投影距离小时投影显示区域小，则苹果大小随之变小，投影距离大时投影显示区域大，则苹果大小随之变大，使得虚拟苹果图像和现实空间的果盘之间的大小不协调，用户视觉体验不佳。

发明内容

本发明实施例提供了一种虚拟对象图片的投影图像大小固定，虚拟现实融合协调、逼真，进而提升用户体验的基于虚拟现实的动态投影方法及系统。

为解决上述技术问题，本发明实施方式采用的一个技术方案是：

在第一方面，本发明的实施例公开了一种基于虚拟现实的动态投影方法，所述方法包括：

采集现实空间图像，构建空间三维模型；

确定所需被投的虚拟对象，以及所述虚拟对象所要投影结合的现实物体，其中所述现实物体位于所述现实空间；

获取所述现实物体的特征参数，根据所述现实物体的特征参数查找与所述特征参数匹配的虚拟对象图片；

根据投影机与所述现实物体的位置关系调整所述投影机的投影方向，将所述虚拟对象图片以固定尺寸投影到所述现实物体。

进一步的，所述采集现实空间图像，构建空间三维模型包括：

通过至少一台摄像机与多维电机采集所述现实空间内的现实物体图像；

根据所述现实物体图像构建空间三维模型，所述空间三维模型包括所述现实物体的特征参数。

进一步的，所述根据所述现实物体的特征参数查找与所述特征参数匹配的虚拟对象图片包括：

根据所述现实物体的特征参数确定虚拟对象的特征参数；

根据虚拟对象的特征参数匹配虚拟对象图片，对所匹配的虚拟对象图片进行图像处理。

进一步的，所述根据投影机与所述现实物体的位置关系调整所述投影机的投影方向，将所述虚拟对象图片以固定尺寸投影到所述现实物体包括：

确定投影的坐标系、投影机相对投影平面的垂直距离、所述虚拟对象图片垂直投影于所述投影平面的垂直投影画面以及实时投影中心光束在所述坐标系上与各坐标轴之间偏转的角度；

根据投影机相对投影平面的垂直距离、以及实时投影中心光束在所述坐标系上与各坐标轴之间偏转的角度，计算实时投影画面；

以底片的中心映射到实时投影画面上的点作为中心点，在所述实时投影画面上确定与所述垂直投影画面尺寸相同的区域，所述底片为位于投影机的所述虚拟对象图片，所述区域为所述虚拟对象图片的投放位置；

对所述区域上的每一个点的像素值与所述底片上的每一个点的像素值进行重新映射；

根据投影机与所述现实物体的位置关系调整所述投影机的投影方向，将映射后的底片投影在所述投放位置上。

进一步的，所述根据投影机相对投影平面的垂直距离、以及实时投影中心光束在所述坐标系上与各坐标轴之间偏转的角度，计算实时投影画面包括：

将所述垂直投影画面与其在各坐标轴上对应的旋转矩阵相乘，得到旋转画面，所述旋转矩阵通过所述实时投影中心光束在所述坐标系上与各坐标轴之间偏转的角度唯一确定；

将投影机与所述旋转画面的每一个点相连的直线在所述投影平面上的交点的集合确定为实时投影画面。

进一步的，所述对所述区域上的每一个点的像素值与所述底片上的每一个点的像素值进行重新映射包括：

获取所述区域的每一点的像素值，将所述底片上与所述区域对应的点的像素值进行重新映射，重新映射后的所述底片上的对应的点的像素值等于所述区域上对应的点的像素值；

将所述区域与所述实时投影画面不相交的点按照预设的规则设置为背景。

进一步的，所述方法还包括：

若所述区域内的点落在所述实时投影画面之外，则不对落在所述实时投影画面之外的点进行处理，或等比例减小所述区域的大小使其全部落在所述实时投影画面之内。

进一步的，所述根据投影机与所述现实物体的位置关系调整所述投影机的投影方向包括：

通过多维运动电机驱动旋转投影机，所述投影机在水平方向可进行360°旋转，在竖直方向可进行90°-320°范围内的旋转。

进一步的，所述确定所需被投的虚拟对象，以及所述虚拟对象所要投影结合的现实物体，其中所述现实物体位于所述现实空间包括：

获取用户语音指令；

识别所述语音指令中的虚拟对象以及虚拟对象所要投影结合的现实物体。

在第二方面，本发明的实施例公开了一种基于虚拟现实的动态投影系统，所述系统包括：

三维模型构建单元，用于采集现实空间图像，构建空间三维模型；

虚拟对象与现实物体确定单元，用于确定所需被投的虚拟对象，以及所述虚拟对象所要投影结合的现实物体，其中所述现实物体位于所述现实空间；

虚拟对象图片查找单元，用于获取所述现实物体的特征参数，根据所述现实物体的特征参数查找与所述特征参数匹配的虚拟对象图片；

投影单元，用于根据投影机与所述现实物体的位置关系调整所述投影机的投影方向，将所述虚拟对象图片以固定尺寸投影到所述现实物体。

本发明实施方式的有益效果是：区别于现有技术的情况，本发明通过采集现实空间图像，构建空间三维模型；确定所需被投的虚拟对象，以及所述虚拟对象所要投影结合的现实物体，其中所述现实物体位于所述现实空间；获取所述现实物体的特征参数，根据所述现实物体的特征参数查找与所述特征参数匹配的虚拟对象图片；根据投影机与所述现实物体的位置关系调整所述投影机的投影方向，将所述虚拟对象图片以固定尺寸投影到所述现实物体。使得虚拟对象图片的投影图像大小固定，虚拟现实融合协调、逼真，进而提升用户体验。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本发明实施例提供的一种基于虚拟现实的动态投影的方法流程图；

图2是本发明实施例图1提供的步骤S10的方法流程图；

图3是本发明实施例图1提供的步骤S20的方法流程图；

图4是本发明实施例图1提供的步骤S30的方法流程图；

图5是本发明实施例图1提供的步骤S40的方法流程图；

图6是本发明实施例图5提供的步骤S402的方法流程图；

图7是本发明实施例图5提供的步骤S404的方法流程图；

图8是本发明实施例图1提供的步骤S40的另一方法流程图；

图9是本发明实施例提供的一种投影机与投影平面的坐标系建立方式；

图10是本发明实施例提供的一种垂直投影画面的确定方式；

图11是本发明实施例提供的一种实时投影画面的确定方式；

图12是本发明实施例提供的一种虚拟对象图片的投放位置的确定方式；

图13是本发明实施例提供的一种基于虚拟现实的动态投影的系统示意图；

图14是本发明实施例提供的一种位于现实空间的现实物体的示意图；

图15是本发明实施例提供的一种虚拟对象图片投影到现实物体的示意图；

图16是本发明实施例提供的一种智能终端的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

请一并参阅图1至图8，本发明实施例提供了一种基于虚拟现实的动态投影方法，所述方法包括：

S10：采集现实空间图像，构建空间三维模型。

可以理解的是，所述采集现实空间图像实际上是对现实空间的映射，并将所述现实空间图像交由计算机等设备进行处理，现实空间的大小由图像采集的范围确定，广义上所述现实空间的大小可以做到无限大，所述现实空间可以是图像采集设备所能覆盖的一定区域，此时，所述现实空间在空间上是连续的。所述现实空间还可以是断续的，即区域的离散化，通过移动有线或无线网络可以将不同区域的现实空间图像集合成一个图像系统，然后，对该图像系统内的多个区域的现实空间图像构建三维模型。

其中，所述采集现实空间图像，构建空间三维模型包括：

S101：通过至少一台摄像机与多维电机采集所述现实空间内的现实物体图像。

在本发明实施例中，所述至少一台摄像机可以按照一定的规则安装在所述现实空间，比如，在一个博物馆的大厅内，在竖直或水平方向上每隔5米安装一个摄像机，所述摄像机可以固定安装在屋顶、墙壁、地面或现实物体的表面上。通过多维电机与摄像机结合可以最大化地增加摄像机的采集范围，减少摄像机的布设，进而减少系统成本。当然，可以选择一体化的摄像机替代多维电机与摄像机结合的方式，比如，半球形一体机、快速球型一体机、结合云台的一体化摄像机或镜头内置的一体机等，上述的一体机可以实现自动聚焦。优选的，选择具有防水功能、体积较小、分辨率高、高寿命以及具有通用通信接口等的摄像机。

S102：根据所述现实物体图像构建空间三维模型，所述空间三维模型包括所述现实物体的特征参数。

在本发明实施例中，所述特征参数包括现实物体在空间三维模型中的位置坐标、大小尺寸、颜色和物品种类(比如杯子可包括水杯、茶杯或酒杯)等，所述空间三维模型通常利用计算机或其他具有处理功能的显示设备或与具有处理功能的设备相连的显示设备进行显示，可显示位于现实空间的现实物体图像。所述空间三维模型可以采用三维建模工具或专门的软件或其他的方法进行构建，可以认为是点和其他信息集合的数据，所述空间三维模型通常存储在计算机或其他大型的存储设备中(比如服务器等)。

S20：确定所需被投的虚拟对象，以及所述虚拟对象所要投影结合的现实物体，其中所述现实物体位于所述现实空间。

所述现实物体位于所述现实空间，且是任意的一个或者多个，相对应的，被选择的所述虚拟对象与所述现实物体的被选择次数一致，数量可以不一致。可以理解的是，所述虚拟对象与所述现实物体存在一一对应的关系，比如，将虚拟的刀叉图片投射到现实空间的盘子旁边，将虚拟的艺术照片投射到现实空间的相框内。当然，也可以将多个虚拟对象图片投射于现实空间中的同一个现实物体，比如，将虚拟的青花瓷图片投射于花瓶的瓶身，将虚拟的花束投射于花瓶的上方，或者，将至少两张虚拟水果图片投射到现实空间的果盘中。

其中，所述确定所需被投的虚拟对象，以及所述虚拟对象所要投影结合的现实物体，其中所述现实物体位于所述现实空间包括：

S201：获取用户语音指令。

在本发明实施例中，通过语音识别技术来确定虚拟对象和与之结合的现实物体，语音识别技术涉及信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等领域。根据语音设备和通道，所述语音识别可以分为桌面语音识别、电话语音识别和嵌入式语音识别等。

可以理解的是，通过语音指令确定所需被投的虚拟对象，以及所述虚拟对象所要投影结合的现实物体仅是本发明实施例所公开的其中一种方式，还可通过触摸控制、键盘(包括实体键盘和软键盘)输入、手势控制、虚拟空间指令输入等方式确定。

S202：识别所述语音指令中的虚拟对象以及虚拟对象所要投影结合的现实物体。

通过识别所述语音指令中的独立词、关键词或连续语音等，可以确定所需被投的虚拟对象，以及所述虚拟对象所要投影结合的现实物体。在一些实施例中，在提取所述语音指令中的特征之前，应当进行一定程度的降噪处理，同时，还可以进行语音增强。

S30：获取所述现实物体的特征参数，根据所述现实物体的特征参数查找与所述特征参数匹配的虚拟对象图片。

所述虚拟对象图片应当在包括位置坐标、尺寸大小以及颜色特性等方面适配所述现实物体的特征参数，使得所述虚拟对象图片投射的影像与现实物体结合起来看起来舒适、协调、真实。虚拟对象图片可以来源于本地数据库或互联网，从特征参数的匹配上进行初步的筛选，依据语音指令中确定的虚拟对象查找本地数据库或互联网中现有的理论上最为匹配的图片资源。

其中，所述根据所述现实物体的特征参数查找与所述特征参数匹配的虚拟对象图片包括：

S301：根据所述现实物体的特征参数确定虚拟对象的特征参数。

为了实现所述虚拟对象图片投射的影像与现实物体结合起来看起来舒适、协调、真实，可以根据所述现实物体的特征参数并通过软件计算或算法处理或模型匹配等方式确定虚拟对象的特征参数。例如，在A4纸张大小的相框内投射的影像应当小于或等于相框大小，优选的，为了符合用户的一般的视觉习惯，获得更高的感官感受，所要投射的影像应当位于相框的中间位置(可视具体的现实物品种类或领域等选择居中、两端对齐、左对齐或投射于某一位置)，比例可采取相框的1/2-3/4大小。

S302：根据虚拟对象的特征参数匹配虚拟对象图片，对所匹配的虚拟对象图片进行图像处理。

所述图像处理具体为根据图像处理技术对所匹配的虚拟对象图片进行压缩、增强和复原、剪切、抠图等，使所匹配的虚拟对象图片的大小、颜色、像素以及清晰度等进一步改善，从而使虚拟对象图片垂直投影于所述投影平面的垂直投影画面与现实物体融合时具有逼真的视觉体验。可以理解，在图像处理后可得到最佳尺寸大小的虚拟对象图片，此时，所述虚拟对象图片对应的投影画面也达到最佳尺寸大小。

S40：根据投影机与所述现实物体的位置关系调整所述投影机的投影方向，将所述虚拟对象图片以固定尺寸投影到所述现实物体。

投影机与多维电机结合，随着电机在现实空间中移动，在空间上可以实现大角度的转动，故不能保证投影机与所述现实物体的位置关系时刻为垂直投影的关系。投影机实时投影的中心光束与现实物体的投影角度、投影距离的变化，使所述虚拟对象图片投射的影像的比例可能存在失真，大小、形状以及清晰度等均有所改变。比如，当投影距离增大时，投影区域(即投影画面)增大，所述虚拟对象图片投射的影像亦增大。

请一并参阅图9至图12，步骤S40具体包括：

S401：确定投影的坐标系、投影机相对投影平面的垂直距离、所述虚拟对象图片垂直投影于所述投影平面的垂直投影画面以及实时投影中心光束在所述坐标系上与各坐标轴之间偏转的角度。

所述投影平面为与现实物体相交，且与投影机中心垂直的二维平面，投影机相对投影平面的垂直距离、所述虚拟对象图片垂直投影于所述投影平面的垂直投影画面以及实时投影中心光束在所述坐标系上与各坐标轴之间偏转的角度可以通过距离传感器和图像采集卡等方式确定，一般的，距离传感器和图像采集卡内嵌于所述投影机中，也可以固定安装于现实空间或系统内的其他设备中。

需要说明的是，坐标系以及坐标原点的选取都是任意的，为了便于说明本发明所要保护的方案，在本发明实施例中，选取投影机的投影中心P(0，0，r)投影到投影平面G(x，y，z＝0)上的点O(0，0，0)为坐标原点，选取投影机到投影平面G(x，y，z＝0)的垂线为Z轴，投影平面G(x，y，z＝0)的水平方向为X轴，投影平面G(x，y，z＝0)的竖直方向为Y轴，且所述虚拟对象图片垂直投影于所述投影平面G(x，y，z＝0)的为垂直投影画面G1(x，y，z＝0)，投影机和投影平面G(x，y，z＝0)的垂直距离为r，实时投影中心光束在所述坐标系上与各坐标轴之间偏转的角度为(deltaX，deltaY，deltaZ)。

S402：根据投影机相对投影平面的垂直距离、以及实时投影中心光束在所述坐标系上与各坐标轴之间偏转的角度，计算实时投影画面。

其中，步骤S402具体包括：

S4021：将所述垂直投影画面与其在各坐标轴上对应的旋转矩阵相乘，得到旋转画面，所述旋转矩阵通过所述实时投影中心光束在所述坐标系上与各坐标轴之间偏转的角度唯一确定。

在本发明实施例中，将所述垂直投影画面G1(x，y，z＝0)与其在各坐标轴上对应的旋转矩阵(Tx，Ty，Tz)相乘，得到旋转画面G2(x，y，z＝0)，所述旋转矩阵(Tx，Ty，Tz)通过所述实时投影中心光束在所述坐标系上与各坐标轴之间偏转的角度(deltaX，deltaY，deltaZ)唯一确定。同理，已知旋转矩阵(Tx，Ty，Tz)，也可以计算出所述实时投影中心光束在所述坐标系上与各坐标轴之间偏转的角度(deltaX，deltaY，deltaZ)。

S4022：将投影机与所述旋转画面的每一个点相连的直线在所述投影平面上的交点的集合确定为实时投影画面。

在本发明实施例中，将投影机与所述旋转画面G2(x，y，z＝0)的每一个点相连的直线在所述投影平面G(x，y，z＝0)上的交点的集合确定为实时投影画面G3(x，y，z＝0)。

S403：以底片的中心映射到实时投影画面上的点作为中心点，在所述实时投影画面上确定与所述垂直投影画面尺寸相同的区域，所述底片为位于投影机的所述虚拟对象图片，所述区域为所述虚拟对象图片的投放位置。

在本发明实施例中，以底片的中心映射到实时投影画面G3(x，y，z＝0)上的点作为中心点，在所述实时投影画面G3(x，y，z＝0)上确定与所述垂直投影画面G1(x，y，z＝0)尺寸相同的区域G31(x，y，z＝0)。

在一些实施例中，在步骤S403之后还包括：

S406：若所述区域内的点落在所述实时投影画面之外，则不对落在所述实时投影画面之外的点进行处理，或等比例减小所述区域的大小使其全部落在所述实时投影画面之内。

可以理解的是，若所述区域G31(x，y，z＝0)内的点全部落在所述实时投影画面G3(x，y，z＝0)之内，那么，则直接进入所述步骤S404。

S404：对所述区域上的每一个点的像素值与所述底片上的每一个点的像素值进行重新映射。

在本发明实施例中，步骤S404具体包括：

S4041：获取所述区域的每一点的像素值，将所述底片上与所述区域对应的点的像素值进行重新映射，重新映射后的所述底片上的对应的点的像素值等于所述区域上对应的点的像素值。

所述区域G31(x，y，z＝0)内的投影画面是由所述底片投射的，故所述底片的点与所述区域G31(x，y，z＝0)的点存在一一对应的关系，又因为，所述区域G31(x，y，z＝0)的大小与所述垂直投影画面G1(x，y，z＝0)尺寸一致，所以重新映射后的所述底片上的对应的点的像素值等于所述区域G31(x，y，z＝0)上对应的点的像素值。假设所述区域G31(x，y，z＝0)上的某一点M31(x，y，z＝0)的像素值为Pixel(x，y)，则将在所述底片中跟M31(x，y，z＝0)对应的点M(x，y，z＝0)的像素值更改为Pixel(x，y)。

重新映射后所述底片的投影画面大小与所述垂直投影画面G1(x，y，z＝0)尺寸一致，而所述垂直投影画面G1(x，y，z＝0)的大小为经过图像处理且计算后得到的理论上与现实物体的大小最为融合的，从而使得虚拟对象图片投射的影像的大小、形状不随投影画面G(x，y，z＝0)或投影机实时投影中心光束的移动而改变。

S4042：将所述区域与所述实时投影画面不相交的点按照预设的规则设置为背景。

所述区域G31(x，y，z＝0)与所述实时投影画面G3(x，y，z＝0)不相交的点，即所述区域G31(x，y，z＝0)落在所述实时投影画面G3(x，y，z＝0)之外的点。在本发明实施例中，将所述不相交的点设为背景，比如，将其置黑，当然，所述预设的规则可以由用户设定，并进行修订、管理以及设定优先级等。

S405：根据投影机与所述现实物体的位置关系调整所述投影机的投影方向，将映射后的底片投影在所述投放位置上。

其中，所述投影机的投影方向的调整可通过多维运动电机驱动旋转投影机，所述投影机在水平方向可进行360°旋转，在竖直方向可进行90°-320°范围内的旋转。由于所述投影机的旋转角度很大程度上取决于投影机和电机的类型和精度，故本发明不限制所述投影机的投影方向的调整的方式和所述投影机的旋转角度。

本发明通过采集现实空间图像，构建空间三维模型；确定所需被投的虚拟对象，以及所述虚拟对象所要投影结合的现实物体，其中所述现实物体位于所述现实空间；获取所述现实物体的特征参数，根据所述现实物体的特征参数查找与所述特征参数匹配的虚拟对象图片；根据投影机与所述现实物体的位置关系调整所述投影机的投影方向，将所述虚拟对象图片以固定尺寸投影到所述现实物体。使得虚拟对象图片的投影图像大小固定，虚拟现实融合协调、逼真，进而提升用户体验。

请参阅图13，为本发明实施例提供的一种位于现实空间的现实物体的示意图，如图13所示，所述系统50包括：

三维模型构建单元501，用于采集现实空间图像，构建空间三维模型。

在本发明实施例中，所述三维模型构建单元501具体用于：通过至少一台摄像机与多维电机采集所述现实空间内的现实物体图像；根据所述现实物体图像构建空间三维模型，所述空间三维模型包括所述现实物体的特征参数。

虚拟对象与现实物体确定单元502，用于确定所需被投的虚拟对象，以及所述虚拟对象所要投影结合的现实物体，其中所述现实物体位于所述现实空间。

在本发明实施例中，所述虚拟对象与现实物体确定单元502具体用于：获取用户语音指令；识别所述语音指令中的虚拟对象以及现实物体。

虚拟对象图片查找单元503，用于获取所述现实物体的特征参数，根据所述现实物体的特征参数查找与所述特征参数匹配的虚拟对象图片。

在本发明实施例中，所述虚拟对象图片查找单元503具体用于：根据所述现实物体的特征参数确定虚拟对象的特征参数；根据虚拟对象的特征参数匹配虚拟对象图片，对所匹配的虚拟对象图片进行图像处理。

投影单元504，用于根据投影机与所述现实物体的位置关系调整所述投影机的投影方向，将所述虚拟对象图片以固定尺寸投影到所述现实物体。

在本发明实施例中，投影单元504具体用于：确定投影的坐标系、投影机相对投影平面的垂直距离、所述虚拟对象图片垂直投影于所述投影平面的垂直投影画面以及实时投影中心光束在所述坐标系上与各坐标轴之间偏转的角度；根据投影机相对投影平面的垂直距离、以及实时投影中心光束在所述坐标系上与各坐标轴之间偏转的角度，计算实时投影画面；以底片的中心映射到实时投影画面上的点作为中心点，在所述实时投影画面上确定与所述垂直投影画面尺寸相同的区域，所述底片为位于投影机的所述虚拟对象图片，所述区域为所述虚拟对象图片的投放位置；若所述区域内的点落在所述实时投影画面之外，则不对落在所述实时投影画面之外的点进行处理，或等比例减小所述区域的大小使其全部落在所述实时投影画面之内。对所述区域上的每一个点的像素值与所述底片上的每一个点的像素值进行重新映射；根据投影机与所述现实物体的位置关系调整所述投影机的投影方向，将映射后的底片投影在所述投放位置上。

为实现本发明实施例的基于虚拟现实的动态投影方法，上述系统的各个单元相互配合，三维模型构建单元501采集现实空间图像，构建空间三维模型，虚拟对象与现实物体确定单元502确定所需被投的虚拟对象，以及所述虚拟对象所要投影结合的现实物体，虚拟对象图片查找单元503获取所述现实物体的特征参数，根据所述现实物体的特征参数查找与所述特征参数匹配的虚拟对象图片，所述现实物体的特征参数来源于三维模型构建单元501，投影单元504根据投影机与所述现实物体的位置关系调整所述投影机的投影方向，将所述虚拟对象图片以固定尺寸投影到所述现实物体。

由于系统实施例和方法实施例是基于同一构思，在内容不互相冲突的前提下，系统实施例的内容可以引用方法实施例的，在此不赘述。

本发明实施例提供一种基于虚拟现实的动态投影系统，通过采集现实空间图像，构建空间三维模型；确定所需被投的虚拟对象，以及所述虚拟对象所要投影结合的现实物体，其中所述现实物体位于所述现实空间；获取所述现实物体的特征参数，根据所述现实物体的特征参数查找与所述特征参数匹配的虚拟对象图片；根据投影机与所述现实物体的位置关系调整所述投影机的投影方向，将所述虚拟对象图片以固定尺寸投影到所述现实物体。使得虚拟对象图片的投影图像大小固定，虚拟现实融合协调、逼真，进而提升用户体验。

请参阅图14和图15，为本发明实施例提供的一个基于虚拟现实的动态投影的例子。通过至少一台摄像机与多维电机采集位于现实空间的桌子、位于桌子上的空置的花瓶以及坐垫的图像，构建空间三维模型，可以理解，位于现实空间的桌子、位于桌子上的空置的花瓶以及坐垫的图像可能是现实空间的一部分，所述空间三维模型包括桌子、位于桌子上的空置的花瓶以及坐垫的图像的特征参数。

获取用户语音指令“搜索一束鲜花放置于花瓶内，搜索一只猫咪放置于坐垫上”，并对该语音指令进行识别，最终确认所需被投的虚拟对象分别为一束鲜花和一只猫咪，虚拟对象所要投影结合的现实物体分别为桌子上的花瓶和桌子上的坐垫。

由于在同一现实空间内的同一种类的现实物体可能存在多个，比如，同一现实空间内可能存在多张桌子，可以选择参照物进行区分，比如“请选择桌面上放置有化妆品的桌子”、“请选择旁边只有一张凳子的桌子”；可以通过物品本身的特性进行区分，比如，“请选择具有三条腿的桌子”、“请选择红色的桌子”、“请选择尺寸最小的桌子”，可以通过相对位置的方式进行区分，比如，“请选择摄像机正前方60度方向的桌子”，或通过其他方式进行区分。

获取桌子上的花瓶和桌子上的坐垫的特征参数(包括花瓶和坐垫的尺寸、空间坐标、形状和颜色特性等)，根据桌子上的花瓶的特征参数确定一束鲜花的特征参数，根据坐垫的特征参数确定一只猫咪的特征参数，根据一束鲜花的特征参数匹配一束鲜花的图片，根据一只猫咪的特征参数匹配一只猫咪的图片，并对一束鲜花的图片和一只猫咪的图片进行图像处理。最终，根据投影机与桌子上的花瓶和桌子上的坐垫的位置关系调整所述投影机的投影方向，将一束鲜花的图片和一只猫咪的图片分别以固定尺寸投影到桌子上的花瓶和桌子上的坐垫。

请参见图16，图16是本发明实施例提供的一种智能终端的结构示意图。如图16所示，该智能终端600包括一个或多个处理器601以及存储器602。其中，图16中以一个处理器601为例。

处理器601和存储器602可以通过总线或者其他方式连接，图16中以通过总线连接为例。

存储器602作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的基于虚拟现实的动态投影方法对应的程序指令/模块(例如，附图13所示的三维模型构建单元501、虚拟对象与现实物体确定单元502、虚拟对象图片查找单元503以及投影单元504)。处理器601通过运行存储在存储器602中的非易失性软件程序、指令以及模块，从而执行基于虚拟现实的动态投影系统的各种功能应用以及数据处理，即实现上述方法实施例投影系统方法以及上述系统实施例的各个模块和单元的功能。

存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据基于虚拟现实的动态投影系统的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至处理器601。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述程序指令/模块存储在所述存储器602中，当被所述一个或者多个处理器601执行时，执行上述任意方法实施例中的基于虚拟现实的动态投影方法，例如，执行以上描述的图1中的方法步骤S10至步骤S40；也可实现附图13所述的各个模块或单元的功能。

作为本发明实施例的另一方面，本发明实施例还提供一种非易失性计算机可读存储介质。非易失性计算机可读存储介质存储有智能终端可执行指令，所述计算机可执行指令用于使智能终端执行上述实施例的基于虚拟现实的动态投影方法，以达到通过采集现实空间图像，构建空间三维模型；确定所需被投的虚拟对象，以及所述虚拟对象所要投影结合的现实物体，其中所述现实物体位于所述现实空间；获取所述现实物体的特征参数，根据所述现实物体的特征参数查找与所述特征参数匹配的虚拟对象图片；根据投影机与所述现实物体的位置关系调整所述投影机的投影方向，将所述虚拟对象图片以固定尺寸投影到所述现实物体。使得虚拟对象图片的投影图像大小固定，虚拟现实融合协调、逼真，进而提升用户体验。

上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。

以上所描述的系统或设备实施例仅仅是示意性的，其中所述作为分离部件说明的单元模块可以是或者也可以不是物理上分开的，作为模块单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络模块单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用至少一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种基于虚拟现实的动态投影方法，其特征在于，所述方法包括：

采集现实空间图像，构建空间三维模型；

确定所需被投的虚拟对象，以及所述虚拟对象所要投影结合的现实物体，其中所述现实物体位于所述现实空间；

获取所述现实物体的特征参数，根据所述现实物体的特征参数查找与所述特征参数匹配的虚拟对象图片；

确定投影的坐标系、投影机相对投影平面的垂直距离、所述虚拟对象图片垂直投影于所述投影平面的垂直投影画面以及实时投影中心光束在所述坐标系上与各坐标轴之间偏转的角度；

根据投影机相对投影平面的垂直距离、以及实时投影中心光束在所述坐标系上与各坐标轴之间偏转的角度，计算实时投影画面；

以底片的中心映射到实时投影画面上的点作为中心点，在所述实时投影画面上确定与所述垂直投影画面尺寸相同的区域，所述底片为位于投影机的所述虚拟对象图片，所述区域为所述虚拟对象图片的投放位置；

对所述区域上的每一个点的像素值与所述底片上的每一个点的像素值进行重新映射；

根据投影机与所述现实物体的位置关系调整所述投影机的投影方向，将映射后的底片投影在所述投放位置上。

2.根据权利要求1所述的方法，其特征在于，所述采集现实空间图像，构建空间三维模型包括：

通过至少一台摄像机与多维电机采集所述现实空间内的现实物体图像；

根据所述现实物体图像构建空间三维模型，所述空间三维模型包括所述现实物体的特征参数。

3.根据权利要求1所述的方法，其特征在于，所述根据所述现实物体的特征参数查找与所述特征参数匹配的虚拟对象图片包括：

根据所述现实物体的特征参数确定虚拟对象的特征参数；

根据虚拟对象的特征参数匹配虚拟对象图片，对所匹配的虚拟对象图片进行图像处理。

4.根据权利要求1所述的方法，其特征在于，所述根据投影机相对投影平面的垂直距离、以及实时投影中心光束在所述坐标系上与各坐标轴之间偏转的角度，计算实时投影画面包括：

将所述垂直投影画面与其在各坐标轴上对应的旋转矩阵相乘，得到旋转画面，所述旋转矩阵通过所述实时投影中心光束在所述坐标系上与各坐标轴之间偏转的角度唯一确定；

将投影机与所述旋转画面的每一个点相连的直线在所述投影平面上的交点的集合确定为实时投影画面。

5.根据权利要求1所述的方法，其特征在于，所述对所述区域上的每一个点的像素值与所述底片上的每一个点的像素值进行重新映射包括：

获取所述区域的每一点的像素值，将所述底片上与所述区域对应的点的像素值进行重新映射，重新映射后的所述底片上的对应的点的像素值等于所述区域上对应的点的像素值；

将所述区域与所述实时投影画面不相交的点按照预设的规则设置为背景。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述区域内的点落在所述实时投影画面之外，则不对落在所述实时投影画面之外的点进行处理，或等比例减小所述区域的大小使其全部落在所述实时投影画面之内。

7.根据权利要求1所述的方法，其特征在于，所述根据投影机与所述现实物体的位置关系调整所述投影机的投影方向包括：

通过多维运动电机驱动旋转投影机，所述投影机在水平方向可进行360°旋转，在竖直方向可进行90°-320°范围内的旋转。

8.根据权利要求1所述的方法，其特征在于，所述确定所需被投的虚拟对象，以及所述虚拟对象所要投影结合的现实物体，其中所述现实物体位于所述现实空间包括：

获取用户语音指令；

识别所述语音指令中的虚拟对象以及虚拟对象所要投影结合的现实物体。

9.一种基于虚拟现实的动态投影系统，其特征在于，所述系统包括：

三维模型构建单元，用于采集现实空间图像，构建空间三维模型；

虚拟对象与现实物体确定单元，用于确定所需被投的虚拟对象，以及所述虚拟对象所要投影结合的现实物体，其中所述现实物体位于所述现实空间；

虚拟对象图片查找单元，用于获取所述现实物体的特征参数，根据所述现实物体的特征参数查找与所述特征参数匹配的虚拟对象图片；

投影单元，用于确定投影的坐标系、投影机相对投影平面的垂直距离、所述虚拟对象图片垂直投影于所述投影平面的垂直投影画面以及实时投影中心光束在所述坐标系上与各坐标轴之间偏转的角度；

根据投影机相对投影平面的垂直距离、以及实时投影中心光束在所述坐标系上与各坐标轴之间偏转的角度，计算实时投影画面；

以底片的中心映射到实时投影画面上的点作为中心点，在所述实时投影画面上确定与所述垂直投影画面尺寸相同的区域，所述底片为位于投影机的所述虚拟对象图片，所述区域为所述虚拟对象图片的投放位置；

对所述区域上的每一个点的像素值与所述底片上的每一个点的像素值进行重新映射；

根据投影机与所述现实物体的位置关系调整所述投影机的投影方向，将映射后的底片投影在所述投放位置上。

Images