CN104134229A - 实时交互的增强现实系统以及方法 - Google Patents

Abstract

本发明公开了一种增强现实的方法，包括步骤：终端通过摄像头获取当前场景图像，并检测到图像中的识别目标，获取其中的数据信息。首先查验终端中是否有对应调用信息，如果有则直接实时渲染，将虚拟信息叠加到终端屏幕上显示在场景中。如果没有对应信息，则上传信息到服务器端，从数据库中调用对应信息，下载到终端实时渲染，形成增强现实的效果。同时，可以通过移动当前场景或者移动终端设备操控虚拟图像的移动，旋转，缩放。

Description

实时交互的增强现实系统以及方法

技术领域

本发明涉及立体模型的实时显示和实时操控。

背景技术

增强现实(Augmented Reality简称AR)，是虚拟现实的一个分支。是用于通过将例如相机所拍摄的真实世界图像与虚拟目标图像进行组合，生成增强现实图像的技术。目前，虚拟计算机图像的生成多依赖高性能PC和摄像头共同完成大量数据的处理。便携性差，对计算机硬件要求高。现有的增强现实系统，只是将虚拟信息叠加显示到场景中，而不能对模型进行实时的动作操控。

发明内容

为了克服现有技术的不足，本发明提供一种实时交互的增强现实系统。该系统可以在小型移动终端设备上使用AR技术展示增强信息，比如可以在pad，手机等小型移动终端运行实现增强现实效果。同时可以实时的以交换的方式实现对3D模型的移动旋转，缩放，拆分，组装。

本发明解决其技术问题所采用的技术方案是：信息获取单元，通过移动终端的摄像头捕获场景图像，并解析出ID信息和坐标信息，用此ID信息与服务器端通信，从数据库调取对应的虚拟信息下载到移动终端；数据存储单元，与应用终端分离，通过网络连接用于存储海量虚拟信息，并实现查找功能。虚拟图像生成单元，通过实时渲染把3维虚拟信息叠加到摄像头拍摄的场景图像上，生成增强现实图像；操作单元，通过平移，上下移动场景图像实现对虚拟信息的操控，虚拟信息的主要展示动作有移动，旋转，缩放，拆分，组装。

本发明的有益效果是，在移动终端系统运行只占用少量系统资源，就能实现对虚拟信息的实时交互。中国发明专利CN20121028141.4(公布号：CN102902710A)中公开了将3D模型完全覆盖在场景目标图像上的方法。而本系统更进一步，不仅仅实现3D模型叠加显示在目标图像上，并且可实时的实现对模型的移动，旋转，缩放，拆分，组装的操作效果。

附图说明

图1为本发明实时交互的增强现实系统的结构示意图；

图2为本发明实时交互的增强现实系统的移动终端结构示意图；

图3为本发明实时交互的增强现实系统的服务器结构示意图；

图4为本发明实时交互的增强现实方法的流程示意图；

图中，无线网络101、移动终端102、虚拟数据存储设备(或服务器)103、目标解析单元201、实时渲染单元202、渲染叠加单元203、检索单元301、数据库302、下载单元303。

具体实施方式

本发明所提供的增强现实方法，可以应用于带摄像头的各种智能终端中，例如智能手机，平板电脑，智能电视，智能眼镜等。一般增强现实的识别标记都会以图形的形式展示，可以印刷到纸张，塑料，布匹，或者显示器直接展示。

参见图1，为本发明实时交互的增强现实系统的结构示意图

参见图2，为本发明实施例增强现实实施系统的移动终端102结构示意图，终端需具备摄像头和显示器。摄像头是输入设备，显示器既是输入设备，又是显示设备。可以是智能手机，pad等。目标解析单元201用于解析拍摄的识别目标，经过识别判定后，实时渲染单元202对相应数据实时渲染，最后通过渲染叠加单元203把渲染的虚拟信息叠加到场景中，在显示器中显示。

参见图3，为本发明实施例增强现实实施系统的服务器103结构示意图，服务器103用于响应移动终端102发来的请求，从数据库302中利用检索单元301提供的方式检索相应数据，并且通过下载单元303将虚拟信息下载到移动终端102，再进行增强现实的效果显示。

数据库302，用于存储虚拟信息，主要包括模型，图片，文字，声音，视频五类。3维模型有静态动态两种，如FBX或MD2格式的三维模型文件。图片使用支持透明背景的压缩图片格式PNG。声音可以是MP3或OGG等格式。视频通常使用MP4格式。

参见图4，为本发明实施例增强现实的方法流程示意图，主要包括如下步骤：

步骤401、利用终端102的摄像头拍摄图像，并捕获识别目标，并将其显示在终端屏幕上。摄像头用于捕获当前场景图像，然后将数据信息传递到实时渲染单元202和渲染叠加单元203解析，获得空间坐标和数据索引信息。

步骤402中首先记录图像的2维坐标，然后将2维坐标转换成程序中设定的3维坐标。将该3维坐标存入缓存，作为虚拟图像叠加到真实场景中的坐标依据。

步骤403中通过对当前图像进行特征点提取，此处采用SIFT特征点。当拍摄图像的特征点与已预设好图像的特征点相匹配时，则完成对识别图片的识别过程。简析出当前图像中预设好的唯一ID信息，作为虚拟信息调用的依据。步骤402和步骤403的信息将沿路径向下传递。

终端，首先对步骤403的索引ID做一个判定，查验终端102是否有对应ID的调用信息，如果终端存在对应数据，则执行步骤404实时渲染，将3D模型的水平面投射到步骤402生成的2维平面中，法向方向与2维平面相同，把3D模型放置在摄像头拍摄的真实画面中，达到增强现实的效果。如果判定为否，执行步骤405，将ID信息上传到服务器103，并且在数据库302中进行搜索，查找数据，并且将匹配成功的相关虚拟信息执行步骤406，下载到移动终端102，重复步骤404实时渲染和步骤407的显示过程。

步骤407把渲染出来的模型依据步骤402中生成的3维坐标实时的叠加到场景中显示。该3维坐标空间(x，y，z)中的xOz平面是根据场景中识别图片的2维坐标实时计算出的，则对识别图片或者摄像头进行移动、旋转操作时，通过计算变化矩阵，程序会重新计算出3维模型对应的变化矩阵，并对画面中的3维模型进行重绘，3维立体模型也会随之移动，旋转，变换大小。

步骤408通过计算摄像头拍摄画面角度的变化，解析出空间变化矩阵，实现对虚拟立体图像的移动，旋转，缩放，拆分，组装。模型的拆分、组装操作由终端102的摄像头与场景图像的垂直距离控制。3D模型有空间高度，当终端102的摄像头向下垂直移动，触碰到虚拟3维立体模型的最高点时，即摄像头和场景图像的垂直距离小于等于立体模型的高度时，模型的拆分动作被触发，模型将自行拆分，展示模型各单元结构；当摄像头和场景之间的垂直距离高于立体模型的高度时，组装动作被触发，已拆分的模型将自行组装成完整模型。模型的拆分和组装动画是预先设置好的，以脚本的形式和模型绑定存储。

另外，当模型拆分后，仍然可以对模型进行移动，旋转，缩放操作。

Claims (10)

1.一种实时交互的增强现实系统，包括无线网络101、移动终端102，和服务器103，其特征在于，移动终端102用于拍摄画面，并且完成虚拟图像的增强现实显示效果；服务器103是虚拟数据存储设备；移动终端102和服务器103利用无线网络101进行数据交换。

2.根据权利要求1所述的实时交互的增强现实系统，其特征在于，所述的移动终端102包括摄像头和显示器，进一步包括目标解析单元201、实时渲染单元202、渲染叠加单元203，目标解析单元201用于解析拍摄的识别目标，经过识别判定后，实时渲染单元202对相应数据实时渲染，最后通过渲染叠加单元203把渲染的虚拟信息叠加到场景中，在显示器中显示。

3.根据权利要求1所述的实时交互的增强现实系统，其特征在于，所述的服务器103包括检索单元301、数据库302、下载单元303，服务器103用于响应移动终端102发来的请求，从数据库302中利用检索单元301提供的方式检索相应数据，并且通过下载单元303将虚拟信息下载到移动终端102，再进行增强现实的效果显示。

4.根据权利要求3所述的实时交互的增强现实系统，其特征在于，所述的数据库302用于存储虚拟信息，主要包括模型、图片、文字、声音、视频。

5.一种实时交互的增强现实的方法，其特征在于，所述方法步骤如下：

终端通过摄像头获取当前场景图像，并将其显示在终端屏幕上；

从所述当前场景图像中解析出坐标和数据索引信息；

根据索引信息判定终端是否存在对应调用信息，若存在则实时渲染；

若不存在则上传数据到数据库查找下载对应信息，再实时渲染；

依据之前解析出的坐标信息，将实时渲染出的虚拟信息叠加显示在当前场景中；

通过移动场景图像或终端设备，改变摄像头捕获的画面信息，来操控虚拟信息的动画效果。

6.根据权利要求5所述的方法，其特征在于，终端对拍摄到的画面实时检测，检测到预先设置好的识别目标时，记录识别目标所在的2维坐标，并将该2维坐标转换成程序中设定的3维坐标，同时，将虚拟信息展示定位到待识别目标所对应的3维空间坐标中，作为虚拟信息叠加到场景中的位置依据。

7.根据权利要求6所述的方法，其特征在于，所述的识别目标，包括文字、图像、纹理的形式，所述的识别目标中嵌入唯一可识别的ID，ID值对应着一个模型资源的下载链接，利用所述地址查找并下载对应虚拟数据，然后在终端实时渲染，并将渲染内容叠加到场景中。

8.根据权利要求5所述的方法，其特征在于，所述的根据索引信息判定终端是否存在对应调用信息，首先查验终端中是否有对应ID的调用信息，如果有则直接实时渲染，将虚拟信息叠加到终端屏幕上显示在场景中；如果没有对应信息，则上传信息到服务器端，请求获取相关的虚拟信息。

9.根据权利要求5所述的方法，其特征在于，虚拟信息叠加到终端屏幕上的场景中后，如果在当前场景中检测到有新的识别目标，或检测到场景中的识别目标消失又重新出现时，则重新解析识别目标，解析成功后，停止检测。

10.根据权利要求1所述的方法，其特征在于，通过所述移动场景图像或终端设备来操控虚拟图像的动画效果，完成实时的交互过程，通过上下或平移当前场景图像或者终端设备，造成摄像视角的变化，最终解析出的坐标信息的变化矩阵，通过坐标信息变化计算出空间变化矩阵，实现对虚拟立体图像的移动，旋转，缩放，拆分，组装。