CN104851134A - 虚拟触发与真实物体触发相结合的扩增实境系统及其方法 - Google Patents

Abstract

本发明公开了一种虚拟触发与真实物体触发相结合的扩增实境系统及其方法，包括控制器、触发设备、显示设备、摄像头装置、存储器、影像处理模块和影像生成模块，另外还包括有增强现实标记检测和识别模块；其中，所述控制器和存储器双向连接，所述摄像头装置、影像处理模块、存储器依次连接，所述触发设备、影像生成模块、增强现实标记检测和识别模块、显示设备均连接于所述控制器；所述存储器中预置有三维模型库。通过本发明的扩增实境系统，在进行扩增实境时，使用者可以选择直接作用于真实物体上，也可以作用于虚拟界面，操作方式灵活，还能增加触感，使得应用效果更佳，迎合用户多元化的需求。

Description

虚拟触发与真实物体触发相结合的扩增实境系统及其方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种虚拟触发和真实物体触发相结合的扩增实境系统及其方法。

背景技术

扩增实境(AR，Augmented Reality)是利用虚拟物体对真实场景进行现实增强的技术。扩增实境基于摄像头等采集到的真实物理环境，通过将文本、二维图像、三维模型等虚拟生成的信息标注在显示屏所显示的真实物理环境中的物体上，从而实现对用户身处的现实物理环境的注释、说明，或者增强、强调现实环境的某些效果。在扩增实境应用里，将文本、二维图像、三维模型等虚拟生成的信息输出到显示设备上,点击反应区输出文本、网站、二维图像、三维动画等已经司空见惯，但还无法与真实物理环境结合起来，无法通过触摸及点击真实物理环境或物体触发一系列动作。

发明内容

针对现有技术的不足，本发明旨在提供一种虚拟触发与真实物体触发相结合的扩增实境系统及其方法，使得作用于虚拟界面或真实物理环境均能触发扩增实境的动作，改变用户行为的同时，增加触感，使操作更加便捷，准确，也可更加灵活的控制应用，使应用效果更佳，迎合用户多元化的需求。

为了实现上述目的，本发明采用如下技术方案：

虚拟触发与真实物体触发相结合的扩增实境系统，包括控制器、触发设备、显示设备、摄像头装置、存储器、影像处理模块和影像生成模块，另外还包括有增强现实标记检测和识别模块；其中，所述控制器和存储器双向连接，所述摄像头装置、影像处理模块、存储器依次连接，所述触发设备、影像生成模块、增强现实标记检测和识别模块、显示设备均连接于所述控制器；所述存储器中预置有三维模型库。

需要说明的是，所述控制器、触发设备、显示设备、摄像头装置、存储器、影像处理模块、影像生成模块以及增强现实标记检测和识别模块结合为一体式移动终端。

需要说明的是，所述触发设备和显示设备结合为触控显示屏，分别与控制器和存储器连接。

利用上述扩增实境系统进行扩增实境的方法包括如下步骤：

S1摄像头装置摄取真实物体的图像后，经过影像处理模块的处理后存储于存储器，并显示于触控显示屏上；

S2控制器驱动增强现实标记检测与识别模块对摄取的图像进行增强现实标记的检测与识别，确定触控显示屏上的反应区位置；

S3得到触控显示屏上的反应区位置后，通过以下两种方法中的任意一种触发扩增实境操作：

1)在真实物体上与反应区位置相对应的地方施加遮挡，所述增强现实标记检测与识别模块检测和识别到反应区的改变后，发送信号至控制器，所述控制器从存储器中预置的三维模型库调出相对应的三维模型，通过影像生成模块生成扩增实境后的图像，并输出至所述触控显示屏上；

2)在触控显示屏上，对反应区进行点击，触控显示屏向控制器发送信号，控制器接收信号后从存储器中预置的三维模块库调出相对应的三维模型，通过影像生成模块生成扩增实境后的图像，并输出值所述触控显示屏上。

本发明的有益效果在于：通过本发明的扩增实境系统，在进行扩增实境时，使用者可以选择直接作用于真实物体上，也可以作用于虚拟界面，操作方式灵活，还能增加触感，使得应用效果更佳，迎合用户多元化的需求。

附图说明

图1为本发明的扩增实境系统功能模块连接示意图；

图2为实施例中步骤S1的操作示意图；

图3为实施例中步骤S2操作所得的marker信息展示图；

图4为实施例中步骤S2操作所得的marker信息的另一种展示图；

图5为实施例中步骤S3的方法1)操作及效果示意图。

具体实施方式

以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。

如图1所示，虚拟触发与真实物体触发相结合的扩增实境系统，包括控制器、触发设备、显示设备、摄像头装置、存储器、影像处理模块和影像生成模块，另外还包括有增强现实标记(marker)检测和识别模块；其中，所述控制器和存储器双向连接，所述摄像头装置、影像处理模块、存储器依次连接，所述触发设备、影像生成模块、增强现实标记(marker)检测和识别模块、显示设备均连接于所述控制器；所述存储器中预置有三维模型库。

需要说明的是，所述控制器、触发设备、显示设备、摄像头装置、存储器、影像处理模块、影像生成模块以及增强现实标记(marker)检测和识别模块结合为一体式移动终端，如智能手机、平板电脑，在本实施例中，采用智能手机。

需要说明的是，所述触发设备和显示设备结合为触控显示屏，分别与控制器和存储器连接。

利用上述扩增实境系统进行扩增实境的方法包括如下步骤：

S1摄像头装置摄取真实物体的图像后，经过影像处理模块的处理后存储于存储器，并显示于触控显示屏上。如图2所示，本实施例中，真实物体为显示于台式电脑显示器1上的图像2，其中包括一个二维码21和四个不同颜色的按钮22、23、24、25。通过智能手机3上的摄像头装置，对准台式电脑显示器1，摄取得到图像4摄取并显示于智能手机3的触控显示屏5上。

S2控制器驱动增强现实标记检测(marker)与识别模块对摄取的图像进行增强现实标记(marker)的检测与识别，确定触控显示屏上的反应区位置。图3、图4中所显示的带加号的区域即为反应区所在位置。

S3得到触控显示屏上的反应区位置后，通过以下两种方法中的任意一种触发扩增实境操作：

1)在真实物体上，与反应区位置相对应的地方施加遮挡，所述增强现实标记检测与识别模块检测和识别到反应区的改变后，发送信号至控制器，所述控制器从存储器中预置的三维模型库调出相对应的三维模型，通过影像生成模块生成扩增实境后的图像，并输出至所述触控显示屏上。如图4所示，用纸张6遮挡在图像2的按钮22的位置上，原来显示在触控显示屏5的图像4上的二维码改变为三维的二维码图形7，并带有与按钮22相同的颜色，最终实现扩增实境的目的。

2)在触控显示屏上，对反应区进行点击，触控显示屏向控制器发送信号，控制器接收信号后从存储器中预置的三维模块库调出相对应的三维模型，通过影像生成模块生成扩增实境后的图像，并输出值所述触控显示屏上。

对于本领域的技术人员来说，可以根据以上的技术方案和构思，作出各种相应的改变和变形，而所有的这些改变和变形都应该包括在本发明权利要求的保护范围之内。

Claims (4)

1.虚拟触发与真实物体触发相结合的扩增实境系统，包括控制器、触发设备、显示设备、摄像头装置、存储器、影像处理模块和影像生成模块，其特征在于，还包括有增强现实标记检测和识别模块；其中，所述控制器和存储器双向连接，所述摄像头装置、影像处理模块、存储器依次连接，所述触发设备、影像生成模块、增强现实标记检测和识别模块、显示设备均连接于所述控制器；所述存储器中预置有三维模型库。

2.根据权利要求1所述的虚拟触发与真实物体触发相结合的扩增实境系统，其特征在于，所述控制器、触发设备、显示设备、摄像头装置、存储器、影像处理模块、影像生成模块以及增强现实标记检测和识别模块结合为一体式移动终端。

3.根据权利要求1所述的虚拟触发与真实物体触发相结合的扩增实境系统，其特征在于，所述触发设备和显示设备结合为触控显示屏，分别与控制器和存储器连接。

4.一种利用权利要求1-3任一所述的扩增实境系统的扩增实境方法，其特征在于，包括如下步骤：

S1摄像头装置摄取真实物体的图像后，经过影像处理模块的处理后存储于存储器，并显示于触控显示屏上；

S2控制器驱动增强现实标记检测与识别模块对摄取的图像进行增强现实标记的检测与识别，确定触控显示屏上的反应区位置；

S3得到触控显示屏上的反应区位置后，通过以下两种方法中的任意一种触发扩增实境操作：

1)在真实物体上与反应区位置相对应的地方施加遮挡，所述增强现实标记检测与识别模块检测和识别到反应区的改变后，发送信号至控制器，所述控制器从存储器中预置的三维模型库调出相对应的三维模型，通过影像生成模块生成扩增实境后的图像，并输出至所述触控显示屏上；

2)在触控显示屏上，对反应区进行点击，触控显示屏向控制器发送信号，控制器接收信号后从存储器中预置的三维模块库调出相对应的三维模型，通过影像生成模块生成扩增实境后的图像，并输出值所述触控显示屏上。