CN111476873B - 一种基于增强现实的手机虚拟涂鸦方法 - Google Patents

Abstract

基于增强现实的手机虚拟涂鸦方法，包括：步骤1、通过GPS位置信息检索数据库内附近位置的虚拟涂鸦墙信息；步骤2、利用谷歌推出的增强现实软件开发工具包——ARcore，通过手机摄像头获取相机位置和朝向，下称姿态；步骤3、取出步骤1获得的虚拟涂鸦墙信息中的线条数据，同时利用步骤2获得的摄像机姿态，通过图形学渲染技术渲染线条至手机屏幕上；步骤4、实时记录相机移动信息，跟踪运动轨迹，在虚拟涂鸦墙上添加涂鸦内容，并通过可视化方法在手机屏幕上呈现涂鸦内容。本发明通过获取设备相机位置和朝向，实时记录相机移动信息，跟踪运动轨迹，并通过图形学渲染技术渲染运动轨迹至手机屏幕上。

Description

一种基于增强现实的手机虚拟涂鸦方法

技术领域

本发明属于增强现实AR领域，将虚拟信息与真实世界巧妙融合，通过手机摄像头获取眼前真实世界，利用屏幕对手机呈现的画面进行涂鸦，特别是涉及一种在空气中画图的方法。

背景技术

涂鸦是现代人生活的一种街头艺术表达方式，但因为城镇卫生的治理并且出于环保的考虑，随地涂鸦是不被允许的，因此涂鸦这种艺术表达形式受到了限制。为了帮助人们能够自由地进行表达，本发明提出一个虚拟涂鸦绘画技术。这种绘画技术并不受手机屏幕的限制，使用者可以直接利用实际的空间位置进行绘画。

用户通过手机就可以随处进行虚拟涂鸦，不仅环保，而且可以记录任意多的历史涂鸦作品，还可以支持点赞、评论等附加功能，加强了人们彼此之间的交流联系。

发明内容

本发明要克服现有技术的上述不足，提供一种基于增强现实的手机虚拟涂鸦方法。

本发明通过获取手机摄像头的权限，捕捉镜头前的真实世界的实时定标，用户可随时随地发挥想象力对画面进行虚拟涂鸦。并且该技术同时具备分享功能，可通过点赞、评论等方式与其他用户进行交流。

一种基于增强现实的手机虚拟涂鸦方法，具体步骤如下：

步骤1、通过GPS位置信息检索数据库内附近位置的虚拟涂鸦墙信息；

步骤2、利用谷歌推出的增强现实软件开发工具包——ARcore，通过手机摄像头获取相机位置和朝向(下称姿态)；

步骤3、取出步骤1获得的虚拟涂鸦墙信息中的线条数据，同时利用步骤2获得的摄像机姿态，通过图形学渲染技术将线条渲染至手机屏幕；

步骤4、实时记录相机移动信息，跟踪运动轨迹，在虚拟涂鸦墙上添加涂鸦内容，并通过可视化方法在手机屏幕上呈现涂鸦内容。

进一步，所述步骤1中，数据库存储线条信息的世界坐标系坐标，具体储存格式为二维数组，二维数组中每一项的数据结构是一个长度为3的float数组，用以记录真实世界中某个点的三维坐标。

进一步，所述步骤2中，首先通过是ARcore下的生命周期管理对象AR Session获取当前手机摄像头的当前帧并更新追踪状态，并通过AR Session下的camera对象获取投影和视图矩阵以及设备位置。

进一步，所述步骤3中，主要目标是结合摄像机姿态和世界坐标系坐标，将线条渲染至屏幕。调用谷歌官方提供的线渲染器的添加线条方法将线条的3D位置添加到缓冲区中，以创建所需的线条，最后使用谷歌官方提供的背景渲染器和线渲染器绘制背景和线条,详细说明见附图和具体实施办法。

进一步，所述步骤4中，用户按住绘画按钮移动手机即可完成绘画，主要目标是将屏幕坐标结合摄像机姿态转换成世界坐标。随后将线条渲染至屏幕，渲染的过程同步骤3。屏幕坐标结合摄像机姿态转换成世界坐标包括如下过程：屏幕坐标系通过视口变换得到规范化坐标系，规范化坐标系通过透视除法得到裁剪坐标系，裁剪坐标系通过投影变换得到相机坐标系，相机坐标系通过透视变换的得到世界坐标系。

本发明的技术构思是：利用摄像头追踪技术获取摄像机的姿态，通过屏幕坐标系、规范化设备坐标系、裁剪坐标系、相机坐标系、世界坐标系的转换(具体转换过程见后文“具体实施方法”部分)，将线条渲染至屏幕，以达到“空气涂鸦”的效果。

本发明的优点在于：通过上述坐标系的转化将虚拟的线条信息在移动设备的屏幕上以增强现实的3D立体形式呈现，同时可以捕捉设备的移动轨迹转化成3D立体形式的线条呈现在屏幕。本发明用途广泛，此处以虚拟涂鸦为例，可以促进人与人之间的交流，推动潮流文化的发展，帮助人们及时记录灵感、分享创作。同时不同用户间文化碰撞又能迸发出新的艺术灵感，增添人的生活乐趣。

附图说明

图1为本发明的总流程图。

具体实施方法

参照附图，进一步说明本发明。本发明的一种基于增强现实的手机虚拟涂鸦方法，具体步骤如下：

步骤1、通过GPS位置信息检索数据库内附近位置的虚拟涂鸦墙信息；

步骤2、利用谷歌推出的增强现实软件开发工具包——ARcore，通过手机摄像头获取相机位置和朝向(下称姿态)；

步骤3、取出步骤1获得的虚拟涂鸦墙信息中的线条数据，同时利用步骤2获得的摄像机姿态，通过图形学渲染技术将线条渲染至手机屏幕；

步骤4、实时记录相机移动信息，跟踪运动轨迹，在虚拟涂鸦墙上添加涂鸦内容，并通过可视化方法在手机屏幕上呈现涂鸦内容。

所述步骤1中，数据库存储线条信息的世界坐标系坐标，具体储存格式为二维数组，二维数组中每一项的数据结构是一个长度为3的float数组，用以记录真实世界中某个点的三维坐标。

所述步骤2中，首先通过是ARcore下的生命周期管理对象AR Session获取当前手机摄像头的当前帧并更新追踪状态，并通过AR Session下的camera对象获取投影和视图矩阵以及设备位置。

所述步骤3中，主要目标是结合摄像机姿态和世界坐标系坐标，渲染成屏幕坐标系。此处使用OpenGLES2.0实现笔触再现，顺序如下:定义物体顶点信息、编辑着色器代码、编译连接着色器程序、物体顶点信息传入着色器、GLSurfaceView加载渲染器(GLSurfaceView是一个继承了安卓基础类SurfaceView，专门用来显示OpenGL渲染的类)、安卓基础类Activity加载GLSurfaceView、渲染物体输出屏幕。其中渲染核心为调用添加线条方法将3D位置添加到缓冲区中，以创建所需的线条，最后使用背景渲染器和线渲染器绘制背景和线条。

所述步骤4中，用户按住绘画按钮移动手机即可完成绘画，则主要目标是将屏幕坐标结合摄像机姿态转换成世界坐标，再通过和步骤3相同的操作绘制至屏幕。

屏幕坐标结合摄像机姿态转换成世界坐标的详细如下：

屏幕坐标系通过视口变换得到规范化坐标系，规范化坐标系通过透视除法得到裁剪坐标系，裁剪坐标系通过投影变换得到相机坐标系，相机坐标系通过透视变换的得到世界坐标系。

屏幕坐标系和规范化设备坐标系的转换(即视口变换)规则如下：其中，x_ndc，y_ndc，z_ndc为规范化设备坐标系的三个坐标值，x_w，y_w，z_w为屏幕坐标系的三个坐标值，x，y为窗口左下角坐标，f，n为远近裁剪平面到屏幕坐标的映射关系。其中f为指定远剪裁平面到窗口坐标的映射。初始值为1，n为指定近剪裁平面到窗口坐标的映射。初始值为0。w和h视口矩形的宽度和高度，根据窗口的实时变化重绘窗口

规范化设备坐标系和裁剪坐标系的转换(即透视除法)规则如下：

其中，x_ndc，y_ndc，z_ndc为规范化设备坐标系的三个坐标值，x_clip，y_clip，z_clip，w_clip为裁剪坐标系的三个坐标值：

裁剪坐标系和相机坐标系的转换(即投影变换)规则如下：

其中，x_clip，y_clip，z_clip，w_clip为裁剪坐标系的三个坐标值，x_eye，y_eye，z_eye，w_eye为相机坐标系的三个坐标值，M_projection为投影矩阵。

相机坐标系和世界坐标系的转换(即模视变换)规则如下：

其中，R为3*3的旋转矩阵，T为3*1的偏移向量，0为(0，0，0)，简化用L_w表示后为4*4矩阵。

X_eye，Y_eye，Z_eye分别为相机坐标系的三个坐标值，X，Y，Z分别为世界坐标系的三个坐标值。

通过以上四个公式可以实现屏幕坐标系、规范化设备坐标系、裁剪坐标系、相机坐标系、世界坐标系的转换。

本发明的基于增强现实的手机虚拟涂鸦方式，能够通过获取设备相机位置和朝向，实时记录相机移动信息，跟踪运动轨迹，并通过图形学渲染技术渲染运动轨迹至手机屏幕上。本发明的优点是将虚拟信息与真实世界巧妙融合，通过对真实世界建模的方式将设备的移动轨迹转换成可呈现于屏幕的3D线条。

目前，出于卫生环保的考虑以及对名胜古迹的尊重和保护，随地涂鸦是不被允许的，因此限制了人们的艺术表达和沟通能力的发展。为了提供一个不具破坏性且环保的涂鸦沟通平台，本发明提出一个虚拟涂鸦的理念，这种绘画技术不同于手指在屏幕滑动绘画，不受手机屏幕的限制，使用者可以直接利用实际的空间位置进行绘画。本发明通过使用ARcore来监测设备的移动并进行一系列坐标系的转换来实现屏幕坐标系到世界坐标系的转换，将设备3D的移动转换成可以在屏幕3D显示的线条。用户通过手机就可以在任何墙体上虚拟涂鸦，不仅环保，而且可以记录任意多的历史涂鸦作品，还可以支持点赞、评论等附加功能，加强了年轻人彼此之间的交流联系。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.基于增强现实的手机虚拟涂鸦方法，包括以下步骤：

步骤1、通过GPS位置信息检索数据库内附近位置的虚拟涂鸦墙信息；

步骤2、利用谷歌推出的增强现实软件开发工具包——ARcore，通过手机摄像头获取相机位置和朝向，下称姿态；

步骤3、取出步骤1获得的虚拟涂鸦墙信息中的线条数据，同时利用步骤2获得的摄像机姿态，通过图形学渲染技术渲染线条至手机屏幕上；

步骤4、实时记录相机移动信息，跟踪运动轨迹，在虚拟涂鸦墙上添加涂鸦内容，并通过可视化方法在手机屏幕上呈现涂鸦内容；

所述步骤1中，数据库存储线条信息的世界坐标系坐标，具体储存格式为二维数组，二维数组中每一项的数据结构是一个长度为3的float数组，用以记录真实世界中某个点的三维坐标；

所述步骤2中，首先通过是ARcore下的生命周期管理对象AR Session获取当前手机摄像头的当前帧并更新追踪状态，并通过AR Session下的camera对象获取投影和视图矩阵以及设备位置；

所述步骤3中，主要目标是结合摄像机姿态和世界坐标系坐标，渲染成屏幕坐标系；此处使用OpenGLES2.0实现笔触再现，顺序如下:定义物体顶点信息、编辑着色器代码、编译连接着色器程序、物体顶点信息传入着色器、GLSurfaceView加载渲染器、安卓基础类Activity加载GLSurfaceView、渲染物体输出屏幕；其中，渲染核心为调用添加线条方法将3D位置添加到缓冲区中，以创建所需的线条，最后使用背景渲染器和线渲染器绘制背景和线条；

步骤4中，用户按住绘画按钮移动手机即可完成绘画，则主要目标是将屏幕坐标结合摄像机姿态转换成世界坐标，再通过和步骤3相同的操作绘制至屏幕；屏幕坐标结合摄像机姿态转换成世界坐标包括如下过程：屏幕坐标系通过视口变换得到规范化坐标系，规范化坐标系通过透视除法得到裁剪坐标系，裁剪坐标系通过投影变换得到相机坐标系，相机坐标系通过透视变换的得到世界坐标系；

屏幕坐标系和规范化设备坐标系的转换规则如下:

其中，x_ndc,y_ndc,z_ndc为规范化设备坐标系的三个坐标值，x_w,y_w,z_w为屏幕坐标系的三个坐标值，x,y为窗口左下角坐标，f,n为远近裁剪平面到屏幕坐标的映射关系；其中f为指定远剪裁平面到窗口坐标的映射，初始值为1；n为指定近剪裁平面到窗口坐标的映射，初始值为0；w和h视口矩形的宽度和高度，根据窗口的实时变化重绘窗口；

规范化设备坐标系和裁剪坐标系的转换规则如下:

其中，x_ndc,y_ndc,z_ndc为规范化设备坐标系的三个坐标值，x_clip,y_clip,z_clip,w_clip中前三个分别为裁剪坐标系的三个坐标值；

裁剪坐标系和相机坐标系的转换规则如下：

其中，x_clip,y_clip,z_clip,w_clip中前三个为裁剪坐标系的三个坐标值，x_eye,y_eye,z_eye,w_eye中前三个分别为相机坐标系的三个坐标值，M_projection为投影矩阵；

相机坐标系和世界坐标系的转换规则如下：

其中，R为3*3的旋转矩阵，T为3*1的偏移向量，0为(0，0，0)，简化用L_w表示为4*4矩阵；

X,Y,Z分别为世界坐标系的三个坐标值；

通过以上四个公式可以实现屏幕坐标系、规范化设备坐标系、裁剪坐标系、相机坐标系、世界坐标系的转换。