CN105653036A - 一种涂鸦增强现实的方法及系统 - Google Patents

Abstract

本发明公开了一种涂鸦增强现实的方法，包括：将轮廓标记图的像素内容信息关联显示到虚拟内容上，得到对应的模型；检测并提取所述轮廓标记图进行涂鸦后的涂鸦标记图；将所述涂鸦标记图及所述模型通过增强现实插件，得到涂鸦标记图对应的虚拟图像；该方法通过涂鸦交互的方式，可以使得用户通过改变现实中标记图图案的方式影响在增强现实中显示的虚拟内容，提高用户的互动体验；本发明还公开了一种涂鸦增强现实的系统。

Description

一种涂鸦增强现实的方法及系统

技术领域

本发明涉及增强现实领域，特别涉及一种涂鸦增强现实的方法及系统。

背景技术

目前的增强现实技术，首先是利用图像处理技术来识别标记图，并跟踪定位虚拟摄像机相对于真实空间的位置和朝向，之后将预设制作好的模型或者视频文件叠加显示在真实的摄像机图像上，这种方式中，标记图的作用仅仅是作为虚拟影像的显示定位点，而虚拟图像和现实之间的交互相对较少，用户对于虚拟影像能够改变元素较少，一定程度上影响了增强现实的用户体验。其中，增强现实是一种实时计算摄影机影像位置及角度加上相应图像的技术，该技术的目标是在屏幕上把虚拟世界影像叠加到现实世界中并进行互动。现有增强现实(AR)技术中，现实内容和虚拟内容之间是分离开的，除了空间角度位置关联以外，没有其他关联。

因此，如何增加增强现实应用的用户体验，让用户可以获得虚拟和现实更好的交互体验。

发明内容

本发明的目的是提供一种涂鸦增强现实的方法及系统，能够通过涂鸦交互的方式，可以使得用户通过改变现实中标记图图案的方式影响在增强现实中显示的虚拟内容，提高用户的互动体验。

为解决上述技术问题，本发明提供一种涂鸦增强现实的方法，包括：

将轮廓标记图的像素内容信息关联显示到虚拟内容上，得到对应的模型；

检测并提取所述轮廓标记图进行涂鸦后的涂鸦标记图；

将所述涂鸦标记图及所述模型通过增强现实插件，得到涂鸦标记图对应的虚拟图像。

其中，所述检测并提取所述轮廓标记图进行涂鸦后的涂鸦标记图，包括：

检测并截取包含涂鸦后标记图的四边形图像；

利用图像矫正算法对所述四边形图像进行矫正，得到标准的矩形图像作为涂鸦标记图。

其中，所述检测并截取包含涂鸦后标记图的四边形图像，包括：

获取增强现实摄像机拍摄的图像；

判断涂鸦后标记图是否完全显示在所述图像内；

若是，则截取包含涂鸦后标记图的最小矩形图像。

其中，所述判断涂鸦后标记图是否完全显示在所述图像内，包括：

将涂鸦后标记图的四角分别放置空物体，并将四个空物体的世界坐标转换成增强现实摄像机的屏幕坐标；

当所述图像中四个空物体对应的屏幕坐标都在屏幕分辨率之内，则涂鸦后标记图完全显示在所述图像内。

其中，所述利用图像矫正算法对所述四边形图像进行矫正，得到标准的矩形图像作为涂鸦标记图，包括：

将四个空物体对应的屏幕坐标，及所述最小矩形图像输入Opencv中；

利用getPerspectiveTransform计算所述最小矩形图像的透视变换矩阵；

根据所述透视变换矩阵，利用warpPerspective将所述最小矩形图像透视变换到新视平面，得到标准的矩形图像作为涂鸦标记图。

本发明提供一种涂鸦增强现实的系统，包括：

模型获取模块，用于将轮廓标记图的像素内容信息关联显示到虚拟内容上，得到对应的模型；

涂鸦标记图获取模块，用于检测并提取所述轮廓标记图进行涂鸦后的涂鸦标记图；

增强现实模块，用于将所述涂鸦标记图及所述模型通过增强现实插件，得到涂鸦标记图对应的虚拟图像。

其中，所述涂鸦标记图获取模块包括：

检测子模块，用于检测并截取包含涂鸦后标记图的四边形图像；

矫正子模块，用于利用图像矫正算法对所述四边形图像进行矫正，得到标准的矩形图像作为涂鸦标记图。

其中，所述检测子模块包括：

获取单元，用于获取增强现实摄像机拍摄的图像；

判断单元，用于判断涂鸦后标记图是否完全显示在所述图像内；

截取单元，用于若是，则截取包含涂鸦后标记图的最小矩形图像。

其中，所述判断单元包括：

转换子单元，用于转换将涂鸦后标记图的四角分别放置空物体，并将四个空物体的世界坐标转换成增强现实摄像机的屏幕坐标；

判断子单元，用于当所述图像中四个空物体对应的屏幕坐标都在屏幕分辨率之内，则涂鸦后标记图完全显示在所述图像内。

其中，所述矫正子模块包括：

输入单元，用于将四个空物体对应的屏幕坐标，及所述最小矩形图像输入Opencv中；

变换单元，用于利用getPerspectiveTransform计算所述最小矩形图像的透视变换矩阵；

矫正单元，用于根据所述透视变换矩阵，利用warpPerspective将所述最小矩形图像透视变换到新视平面，得到标准的矩形图像作为涂鸦标记图。

本发明所提供的涂鸦增强现实的方法及系统，包括：将轮廓标记图的像素内容信息关联显示到虚拟内容上，得到对应的模型；检测并提取所述轮廓标记图进行涂鸦后的涂鸦标记图；将所述涂鸦标记图及所述模型通过增强现实插件，得到涂鸦标记图对应的虚拟图像；

该方法首先利用轮廓标记图获取对应的立体模型，用户通过对轮廓标记图进行涂鸦互动得到涂鸦后标记图，将用户想要的东西在涂鸦后标记图中表现出来，并检测提取涂鸦标记图；利用增强现实插件将涂鸦标记图贴图到所述立体模型，得到虚拟图像；即该方法通过涂鸦交互的方式，可以使得用户通过改变现实中标记图图案的方式影响在增强现实中显示的虚拟内容，提高用户的互动体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所提供的涂鸦增强现实的方法的流程图；

图2为本发明实施例所提供的标记图矫正的效果示意图；

图3为本发明实施例所提供的涂鸦增强现实的系统的结构框图。

具体实施方式

本发明的核心是提供一种涂鸦增强现实的方法及系统，能够通过涂鸦交互的方式，可以使得用户通过改变现实中标记图图案的方式影响在增强现实中显示的虚拟内容，提高用户的互动体验。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

涂鸦增强现实是指用涂鸦的方式来改变增强现实中的标记图图案，同时应用显示的虚拟影像中包含了显示的标记图案。

增加增强现实应用的用户体验，通过在增强现实应用中获取摄像头图像，并进行处理后显示在虚拟模型上，让用户可以改变现实标记图像的方式来影响改变虚拟影像，从而获得虚拟和现实更好的交互体验。

请参考图1，图1为本发明实施例所提供的涂鸦增强现实的方法的流程图；该方法可以包括：

S100、将轮廓标记图的像素内容信息关联显示到虚拟内容上，得到对应的模型；

其中，该步骤为涂鸦增强现实前期准备内容，需要准备制作一张对比度高，特征明显的用来涂鸦的轮廓标记图A，准备增强现实中要现实的虚拟内容，如增强现实要现实的3d模型等，之后在虚拟内容的预处理中，轮廓标记图A的像素内容信息要关联显示到虚拟内容上，以得到与所述轮廓标记图A对应的模型。

获取对应的模型之后还可以对进行显示效果的预处理；这里以3d模型为例，如在3dmax等三维模型制作软件中，将轮廓标记图A作为贴图显示在3d模型A上，调整模型贴图UV直到轮廓标记图A涂鸦区域内的图像能够较为完整的显示在模型上，该步骤处理完毕后，将轮廓标记图A、模型A、动画等虚拟内容导入到要制作涂鸦增强现实的制作引擎中。

还可以在没有进行涂鸦之前将轮廓标记图与对应模型进行显示即完成增强现实摄像头标记图区域内图像的提取校正功能。具体过程可以是：要实现的效果是扫描轮廓标记图A之后在终端显示模型A，该部分的实现可以是在游戏制作引擎中实现的，如以Unity游戏引擎为例，增强现实功能的实现是通过第三方的增强现实插件实现的，具体实现的流程为上传图像A至插件官网，处理后下载对应的配置文件至Unity中，利用该插件以及下载的配置文件实现初步的增强现实的效果，最终，在终端上，打开软件摄像机扫描轮廓标记图A能够看到对应的虚拟图像。

S110、检测并提取所述轮廓标记图进行涂鸦后的涂鸦标记图；

其中，用户对廓标记图A进行涂鸦创作后得到涂鸦后标记图，检测并提取所述轮廓标记图进行涂鸦后的涂鸦标记图，目的是在增强现实应用识别的基础上，检测并提取软件摄像机中包含涂鸦后标记图的图像B，将图像B可以作为贴图，利用增强现实插件贴图到模型A中，实现图像B在增强现实虚拟内容模型A上的效果。具体的，S110可以包括：

检测并截取包含涂鸦后标记图的四边形图像；

利用图像矫正算法对所述四边形图像进行矫正，得到标准的矩形图像作为涂鸦标记图。

检测并提取软件摄像机中包含涂鸦后标记图的图像B，并利用图像矫正算法将图像B矫正为标准的矩形图像，作为贴图显示在模型A上，最终实现涂鸦增强现实的效果，用户在现实中对廓标记图A上完成涂鸦后，通过软件扫描后可以出现涂鸦后标记图现实在增强现实虚拟内容模型A上的效果。

其中，可选的，所述检测并截取包含涂鸦后标记图的四边形图像，包括：

获取增强现实摄像机拍摄的图像；

判断涂鸦后标记图是否完全显示在所述图像内；

若是，则截取包含涂鸦后标记图的最小矩形图像。

其中，这里所截取的四边形图像是包含涂鸦后标记图的最小矩形图像。

具体的，可以包括：

将涂鸦后标记图的四角分别放置空物体，并将四个空物体的世界坐标转换成增强现实摄像机的屏幕坐标；

当所述图像中四个空物体对应的屏幕坐标都在屏幕分辨率之内，则涂鸦后标记图完全显示在所述图像内。

其中，首先要检测涂鸦后标记图区域的四边形是否完整显示在摄像头拍摄的区域内，目的是为了能够获取摄像机中完整的标记图像。例如在Unity中，可以将涂鸦后标记图的四角放置空物体，之后将四个空物体世界坐标转换成摄像机的屏幕坐标，如果四个空物体的屏幕坐标都在屏幕分辨率之内，则证明标记图区域完全显示在了屏幕图像中，否则重新识别，用户需调整终端设备位置，直到涂鸦后标记图完全出现在软件的摄像机中。

当涂鸦后标记图区域完全显示在摄像头中后，将四边形四个角点空物体世界坐标转换成屏幕坐标的位置信息，并根据截取摄像机该帧的包含涂鸦后标记图区域的摄像机图像，此时，记录的四个屏幕坐标位置代表的就是该张图片中涂鸦后标记图相对于截图的坐标。

其中，如图2所示，从截取下来的图片中可以明显看到，由于涂鸦后标记图和摄像机之间角度的不确定，因此涂鸦后标记图区域中图像四边形并不是一个标准的矩形图像，也就无法准确的作为模型的贴图映射显示在模型上，于是就需要将该四边形图像矫正成为标准制定长宽的矩形图像。可选的，所述利用图像矫正算法对所述四边形图像进行矫正，得到标准的矩形图像作为涂鸦标记图，包括：

将四个空物体对应的屏幕坐标，及所述最小矩形图像输入Opencv中；

利用getPerspectiveTransform计算所述最小矩形图像的透视变换矩阵；

根据所述透视变换矩阵，利用warpPerspective将所述最小矩形图像透视变换到新视平面，得到标准的矩形图像作为涂鸦标记图。

其中，具体的截取的摄像机图片以及四个角对应的空物体对应的屏幕坐标值传入图像处理的函数中，以Opencv中的图像矫正算法为例，在Opencv中，使用getPerspectiveTransform和warpPerspective方法，前者是计算图像的透视变换矩阵，后者是将原图像透视变换到新视平面中，最终达到的效果如图2，是将左面的四个角点中的四边形图像通过Opencv的图像矫正算法变换成了图2右侧标准的矩形图像，实现了一种图像矫正的效果。最终该步骤得到了一张标准矩形形状的涂鸦后标记图即涂鸦标记图B，该涂鸦标记图B可以用来作为模型和虚拟影像的贴图显示在增强现实的内容上。

S120、将所述涂鸦标记图及所述模型通过增强现实插件，得到涂鸦标记图对应的虚拟图像。

其中，利用步骤S100中方法将，涂鸦标记图及模型通过增强现实插件，得到涂鸦标记图对应的虚拟图像。如在在Unity中，读取步骤S110中处理后的矩形涂鸦标记图B，之后将涂鸦标记图B作为贴图显示在步骤S100中制作好的增强现实模型A上。最终实现了涂鸦增强现实的效果。

此时，基于该方案的涂鸦增强现实应用已经实现，所达到的效果是，用户通过终端应用扫描带有涂鸦图案的标记图，终端所显示的虚拟影像即为现实中涂鸦图案。如增强现实中通过改变现实图像信息影响虚拟影像表现的交互方式。例如用涂鸦的方式改变真实环境中的图像颜色等，之后在增强现实的虚拟影像中，显示了之前涂鸦中的图像颜色信息。(例如涂鸦涂了蓝红条纹的斑马，增强现实中就会显示带有蓝红条纹的斑马模型)。

基于上述技术方案，本发明实施例提供的涂鸦增强现实的方法，用户可以通过改变现实中标记图图案的方式影响在增强现实中显示的虚拟内容。目前现有的应用中，增强现实中，现实和虚拟之间的交互较为单一，局限在使用终端在标记图上全方位的观看虚拟内容，现实和虚拟内容之间仅在空间关系上有一定关联，其他的交互较少，带来的用户互动体验性较少。因此该方法提出的增强现实涂鸦方案可以很好增加增强现实应用的交互性。能够通过涂鸦交互的方式，可以使得用户通过改变现实中标记图图案的方式影响在增强现实中显示的虚拟内容，提高用户的互动体验。

本发明实施例提供了涂鸦增强现实的方法，能够通过涂鸦交互的方式，可以使得用户通过改变现实中标记图图案的方式影响在增强现实中显示的虚拟内容，提高用户的互动体验。

下面对本发明实施例提供的涂鸦增强现实的系统进行介绍，下文描述的涂鸦增强现实的系统与上文描述的涂鸦增强现实的方法可相互对应参照。

请参考图3，图3为本发明实施例所提供的涂鸦增强现实的系统的结构框图；该框图可以包括：

模型获取模块100，用于将轮廓标记图的像素内容信息关联显示到虚拟内容上，得到对应的模型；

涂鸦标记图获取模块200，用于检测并提取所述轮廓标记图进行涂鸦后的涂鸦标记图；

增强现实模块300，用于将所述涂鸦标记图及所述模型通过增强现实插件，得到涂鸦标记图对应的虚拟图像。

可选的，所述涂鸦标记图获取模块200包括：

检测子模块，用于检测并截取包含涂鸦后标记图的四边形图像；

矫正子模块，用于利用图像矫正算法对所述四边形图像进行矫正，得到标准的矩形图像作为涂鸦标记图。

可选的，所述检测子模块包括：

获取单元，用于获取增强现实摄像机拍摄的图像；

判断单元，用于判断涂鸦后标记图是否完全显示在所述图像内；

截取单元，用于若是，则截取包含涂鸦后标记图的最小矩形图像。

可选的，所述判断单元包括：

转换子单元，用于转换将涂鸦后标记图的四角分别放置空物体，并将四个空物体的世界坐标转换成增强现实摄像机的屏幕坐标；

判断子单元，用于当所述图像中四个空物体对应的屏幕坐标都在屏幕分辨率之内，则涂鸦后标记图完全显示在所述图像内。

可选的，所述矫正子模块包括：

输入单元，用于将四个空物体对应的屏幕坐标，及所述最小矩形图像输入Opencv中；

变换单元，用于利用getPerspectiveTransform计算所述最小矩形图像的透视变换矩阵；

矫正单元，用于根据所述透视变换矩阵，利用warpPerspective将所述最小矩形图像透视变换到新视平面，得到标准的矩形图像作为涂鸦标记图。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的涂鸦增强现实的方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种涂鸦增强现实的方法，其特征在于，包括：

将轮廓标记图的像素内容信息关联显示到虚拟内容上，得到对应的模型；

检测并提取所述轮廓标记图进行涂鸦后的涂鸦标记图；

将所述涂鸦标记图及所述模型通过增强现实插件，得到涂鸦标记图对应的虚拟图像。

2.如权利要求1所述的方法，其特征在于，所述检测并提取所述轮廓标记图进行涂鸦后的涂鸦标记图，包括：

检测并截取包含涂鸦后标记图的四边形图像；

利用图像矫正算法对所述四边形图像进行矫正，得到标准的矩形图像作为涂鸦标记图。

3.如权利要求2所述的方法，其特征在于，所述检测并截取包含涂鸦后标记图的四边形图像，包括：

获取增强现实摄像机拍摄的图像；

判断涂鸦后标记图是否完全显示在所述图像内；

若是，则截取包含涂鸦后标记图的最小矩形图像。

4.如权利要求3所述的方法，其特征在于，所述判断涂鸦后标记图是否完全显示在所述图像内，包括：

将涂鸦后标记图的四角分别放置空物体，并将四个空物体的世界坐标转换成增强现实摄像机的屏幕坐标；

当所述图像中四个空物体对应的屏幕坐标都在屏幕分辨率之内，则涂鸦后标记图完全显示在所述图像内。

5.如权利要求4所述的方法，其特征在于，所述利用图像矫正算法对所述四边形图像进行矫正，得到标准的矩形图像作为涂鸦标记图，包括：

将四个空物体对应的屏幕坐标，及所述最小矩形图像输入Opencv中；

利用getPerspectiveTransform计算所述最小矩形图像的透视变换矩阵；

根据所述透视变换矩阵，利用warpPerspective将所述最小矩形图像透视变换到新视平面，得到标准的矩形图像作为涂鸦标记图。

6.一种涂鸦增强现实的系统，其特征在于，包括：

模型获取模块，用于将轮廓标记图的像素内容信息关联显示到虚拟内容上，得到对应的模型；

涂鸦标记图获取模块，用于检测并提取所述轮廓标记图进行涂鸦后的涂鸦标记图；

增强现实模块，用于将所述涂鸦标记图及所述模型通过增强现实插件，得到涂鸦标记图对应的虚拟图像。

7.如权利要求6所述的系统，其特征在于，所述涂鸦标记图获取模块包括：

检测子模块，用于检测并截取包含涂鸦后标记图的四边形图像；

矫正子模块，用于利用图像矫正算法对所述四边形图像进行矫正，得到标准的矩形图像作为涂鸦标记图。

8.如权利要求7所述的系统，其特征在于，所述检测子模块包括：

获取单元，用于获取增强现实摄像机拍摄的图像；

判断单元，用于判断涂鸦后标记图是否完全显示在所述图像内；

截取单元，用于若是，则截取包含涂鸦后标记图的最小矩形图像。

9.如权利要求8所述的系统，其特征在于，所述判断单元包括：

转换子单元，用于转换将涂鸦后标记图的四角分别放置空物体，并将四个空物体的世界坐标转换成增强现实摄像机的屏幕坐标；

判断子单元，用于当所述图像中四个空物体对应的屏幕坐标都在屏幕分辨率之内，则涂鸦后标记图完全显示在所述图像内。

10.如权利要求9所述的系统，其特征在于，所述矫正子模块包括：

输入单元，用于将四个空物体对应的屏幕坐标，及所述最小矩形图像输入Opencv中；

变换单元，用于利用getPerspectiveTransform计算所述最小矩形图像的透视变换矩阵；

矫正单元，用于根据所述透视变换矩阵，利用warpPerspective将所述最小矩形图像透视变换到新视平面，得到标准的矩形图像作为涂鸦标记图。