CN104834897A - 一种基于移动平台的增强现实的系统及方法 - Google Patents

Abstract

本发明涉及计算机视觉、图像处理领域，本发明公开的一种基于移动平台的增强现实系统设计方法。首先，通过移动设备摄像头实时的对人脸进行预览，并实时的从视频流中提取图像帧，同时对单帧图像进行人脸检测与跟踪，确定人脸的位置及大小。在此基础上，根据人脸的实时位置，在当前视频图像中实时的渲染三维场景，并与人脸相结合，根据人脸的位置，图形可进行相应的平移、缩放，达到增强现实的效果。本发明可以应用于移动平台上的视频类应用软件，提高人脸检测与跟踪的实时性与准确度的同时通过渲染虚拟三维场景以达到增强现实的效果。

Description

一种基于移动平台的增强现实的系统及方法

技术领域

本发明属于计算机视觉、图像处理领域，特别涉及一种基于移动平台的增强现实系统及方法。

背景技术

由于智能移动终端的高速普及与发展，用户对智能设备的依赖变得越来越大，对智能设备的功能需求也是从原来的简单使用发展到如今的多样化。其中，拍照、摄像作为移动设备最重要的功能之一，在此功能上拓展出来的各种功能也深受用户的关注。面前市面上已发展出一批相关软件，但绝大多数的基于视觉追踪的增强现实App通常带有简单的人脸检测功能，采用逐帧检测的方式进行人脸定位，再进行场景渲染。这些视频类软件虽已能满足一般增强现实效果的需求，但仍存在检测速度慢，取景框无法平滑过渡，会出现的跳跃的问题，造成用户体验一般。

目前国内外关于移动终端增强现实技术还存在着不少有待解决的问题：

1）遇遮挡检测率下降。当前的人脸检测算法计算人脸图像的Haar特征的积分图，然后根据这些特征的分类器训练弱分类器，选用效果好的弱分类器组成强分类器，最后将这些强分类器级联来进行人脸检测。鲁棒性较好，但遇遮挡容易造成误检。

2）对于光照强度的改变，没有很好的适应性，存在较大的误检区域以及阴影检测效果不好。在视频中光照的变化十分常见，室外场景下阳光被云朵遮挡，室内灯开关或光线被遮挡，都常常会引起较大面积的误检，对对象统计有很大影响。目前对于如地面反光、对象的投影等光照影响造成的误检没有很好的方法。

3）目前主流移动端软件的增强现实效果集中在使用二维的贴图对场景进行渲染，其增强现实效果一般。

发明内容

本发明主要解决的技术问题是提供一种基于移动平台的增强现实的系统及方法，能够有效的解决了检测效率不高，误检率高的问题。同时，采用三维渲染技术，对增强现实效果有了很大的提高。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于移动平台的增强现实的系统，所述系统包括三层结构：用户界面层、接口层和功能模块层；

所述用户界面层，负责界面显示及与用户进行交互；

所述接口层，提供必要接口，链接所述用户界面层和功能模块层；

所述功能模块层，对摄像头实时获取的人脸进行检测与跟踪，并标记；所述功能模块层包括视频捕获模块、人脸检测模块、人脸跟踪模块和3D图形加载模块。

在本发明一个较佳实施例中，所述用户界面层包括至少两个Activity，一个用于首界面显示，一个用于功能选择。

在本发明一个较佳实施例中，所述接口层包括提供Android调用算法模块用的c++代码的接口JNI。

在本发明一个较佳实施例中，所述视频捕获模块，采用移动设备自带摄像头进行视频预览，从视频中实时提取单帧图像，为人脸检测做好预处理；

所述人脸检测模块，采用适用于移动平台的人脸检测算法，对视频流中提取到的单帧图像进行人脸初始位置的检测，为接下来人脸跟踪算法提供一个所需的初始化位置；

所述人脸跟踪模块，提取目标物体的直方图模型和颜色概率分布图，然后使用特征算子提取对图像的每一帧进行迭代，当找到目标区域后，在下一帧中更新搜索窗口并进行迭代，以达到实时跟踪的效果；

所述3D图形加载模块，采用移动端三维图形渲染技术，在上述实时跟踪到的人脸位置为基准位置，对其周围场景进行三维渲染，充分匹配人脸位置，以达到增强现实效果的目的。

为解决上述技术问题，本发明还提供一种基于移动平台的增强现实的方法，具体步骤包括：

（100）、使用移动设备摄像头捕获视频流；

（200）、从视频流中获取单帧图像；

（300）、采用人脸检测算法对单帧图像进行人脸检测；

（400）、通过人脸检测得到的人脸位置作为初始位置，采用人脸跟踪算法对人脸位置进行实时跟踪；

（500）、采用三维渲染技术在跟踪到的人脸位置附近场景进行三维场景渲染以达到增强现实的效果。

在本发明一个较佳实施例中，步骤（100）中实现初始化摄像头参数及设置相机预览功能。

在本发明一个较佳实施例中，步骤（200）中采用对摄像头预览时的捕获的视频流进行单帧图像提取，并获取图像数据。

在本发明一个较佳实施例中，步骤（300）中，采用适用于移动平台的人脸检测算法，对视频流中提取到的单帧图像进行人脸初始位置的检测，为接下来人脸跟踪算法提供一个所需的初始化位置。

在本发明一个较佳实施例中，步骤（400）中，提取目标物体的直方图模型和颜色概率分布图，然后使用特征算子提取对图像的每一帧进行迭代，当找到目标区域后，在下一帧中更新搜索窗口并进行迭代，以达到实时跟踪的效果。

在本发明一个较佳实施例中，步骤（500）中采用移动端三维图形渲染技术，在上述实时跟踪到的人脸位置为基准位置，对其周围场景进行三维渲染，充分匹配人脸位置，以达到增强现实效果的目的。

本发明的有益效果是：本发明基于移动平台的增强现实系统及方法，包括以下关键技术：

1）实时人脸检测技术

由于移动终端硬件的限制导致运算能力有限，Android提供的API接口完成人脸检测会有一定的延时及误差。因此考虑将在PC上已经很成熟Adaboost算法移植到移动平台，以满足实时检测的要求。

2）精确人脸跟踪技术

Adaboost算法实时性上已基本满足要求，但仍存在鲁棒性不高和遇到遮挡后检测率降低的问题。此时，将Adaboost算法结合Camshift跟踪算法，利用Adaboost检测到的人脸位置作为Camshift跟踪的初始位置，可以在一定程度上提高检测率。

3）移动平台3D图形开发技术

OpenGL ES作为OpenGL三维图形API的子集，专门针对手机、PDA和游戏主机等嵌入式设备而设计。本课题采用OpenGL ES 2.0版本作为3D图形开发接口，2.0版本采用可编程渲染管线，使用顶点着色器与片元着色器代替1.0版本中固定管线的功能，给开发带来更丰富的空间。

本发明的有益效果是：

1）、本发明采用先进行人脸检测进行人脸位置初始化，再利用人脸跟踪算法实时进行人脸位置跟踪，有效的提高了检测效率。

2）、本发明的方法对各种场景变化达到较好的适应性，对场景中光照变化，物体遮挡等情形有很强的鲁棒性。

3）、本发明采用三维渲染技术对视频进行渲染，提高了增强现实效果。

附图说明

图1为本发明基于移动平台的增强现实的系统一优选实施例的结构架构图；

图2为本发明基于移动平台的增强现实的系统的功能模块图；

图3为本发明基于移动平台的增强现实系统主要工作流程图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

本课题旨在完成移动平台上基于人脸检测与跟踪的增强现实软件的设计与实现，系统可以通过移动设备摄像头实时捕获人脸，并根据人脸实时位置，通过对其及其周边虚拟场景及物体进行渲染以达到增强现实效果的目的。实施方案包括设计、实现与测试三个阶段，设计阶段包括UI界面设计、类设计以及主要业务逻辑流程设计，实现阶段完成核心算法编码及单元测试，测试阶段进行整体系统测试。

1) 系统架构

如图1所示，整体系统架构分为三层，包括用户界面层、接口层及功能模块层。

用户界面层主要负责界面显示及与用户进行交互，Android系统中每一个Activity对应一个用户界面，用户通过Activity实现与程序的交互。本系统主要包括两个Activity，一个用于首界面显示，一个用于功能选择。

图1中优选实施例所示所述用户界面层包括主界面、摄像头预览和功能选择三个部分。

接口层提供Android调用算法模块用的c++代码的接口JNI，JNI接口包含在Android提供的NDK开发包中。中间层起到链接用户层与算法层的作用。图1中优选实施例所示接口层还包括Camera类接口和OpenGL接口。

功能模块层主要包括人脸检测及人脸识别的功能模块，对摄像头实时获取的人脸进行检测与跟踪，并标记。图1中优选实施例所示功能模块层包括视频捕获模块、人脸检测模块、人脸跟踪模块和3D图形加载模块。

2) 系统设计

本系统主要包括视频捕获、人脸检测、人脸跟踪及3D图形加载功能，系统功能模块如下图2所示。

a) 视频捕获

采用移动设备自带摄像头进行视频预览，从视频中实时提取单帧图像，为人脸检测功能做好预处理。

b) 人脸检测

将Adaboost算法应用到人脸检测技术上，采用Haar特征对人脸图像的灰度分布情况进行描述，并挑选出具有样本能力的Haar特征的组合构成强分类器。采用由粗到精的思路来构造级联人脸检测器，先用强分类器把图片中大多数的背景和无关区域滤除，再增强分类器的复杂度，继续滤掉剩余的无关区域，最后剩下的就是人脸区域，该种方法达到了提高了人脸检测速度的目的。

Haar特征即为特定的矩形特征，作为弱特征来描述人脸的灰度分布情况，基于Haar特征的特征提取具有计算简单、提取速度较快等优势。

积分图的引入是为了能够在各个尺度快速计算分类器所需要的特征，利用积分图像的算法可以方便地提取图像的局部Haar特征。

c) 人脸跟踪

采用Camshift算法对视频序列进行分析，首先得到人脸检测获取的人脸初始位置，将图像的RGB信息转换到HSV颜色空间，根据H分量得到颜色概率分布。然后通过不断的迭代Meanshift向量使得算法收敛于目标物体的真实位置，以达到跟踪的目的。

d) 3D图形显示

通过界面上的功能选择按钮，实时的在检测到的人脸及其周边加载3D图形，技术方面采用OpenGL ES 2.0提供的可编程渲染管道。

本系统的主要工作流程，启动软件后首先检测是否有摄像头，若系统找不到摄像头则直接退出程序。若摄像头存在，则启动摄像头并进行初始化并进入主界面。主界面会显示摄像头实时捕捉到的图像，若存在人脸则进行人脸检测确定人脸初始化位置，之后根据初始化位置实时的进行人脸跟踪。用户可以选择将3D图形加载到实时界面上，并显示预览效果。

3) 功能实现，具体操作流程如图3所示。

系统启动，首先判断是否有摄像头，有则进行下一步操作，无则结束。

a) 单帧图像捕获

通过Open方法打开摄像头，Camera.Parameters初始化摄像头参数。设置SurfaceView作为相机预览所用，取得SurfaceHolder对象。Activity必须实现SurfaceHolder.Callback。实现PreviewCallback接口，处理相机预览图像，在onPreviewFrame方法中实现从视频中提取单帧图像的功能。

b)人脸检测

在进行人脸检测之前，首先判断人脸纪录是否为空，是则进行下一步HSV空间转换操作，否则进行人脸检测操作。

通过JNI接口使用OpenCV调用c++代码，加载Haar分类器，使用cvLoadImage函数加载已经获取的单帧图像，使用OpenCV提供的cvHaarDetectObjects方法确定人脸初始化位置。

c) 人脸跟踪

使用OpenCV4Android实现Camshift算法，利用HSV色系的H分量的直方图计算概率分布图像，调用MeanShift方法，再使用Camshift函数实现人脸跟踪。

d) 3D图像加载

通过输入流将顶点数据、面数据从obj文件中读入，使用顶点着色器及片元着色器对物体进行渲染，继承GLSurfaceView类，对3D场景进行渲染。根据人脸坐标位置，实时的更新图形位置，满足效果。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于移动平台的增强现实的系统，其特征在于，所述系统包括三层结构：用户界面层、接口层和功能模块层；

所述用户界面层，负责界面显示及与用户进行交互；

所述接口层，提供必要接口，链接所述用户界面层和功能模块层；

所述功能模块层，对摄像头实时获取的人脸进行检测与跟踪，并标记；所述功能模块层包括视频捕获模块、人脸检测模块、人脸跟踪模块和3D图形加载模块。

2.根据权利要求1所述的基于移动平台的增强现实的系统，其特征在于，所述用户界面层包括至少两个Activity，一个用于首界面显示，一个用于功能选择。

3.根据权利要求1所述的基于移动平台的增强现实的系统，其特征在于，所述接口层包括提供Android调用算法模块用的c++代码的接口JNI。

4.根据权利要求1所述的基于移动平台的增强现实的系统，其特征在于，

所述视频捕获模块，采用移动设备自带摄像头进行视频预览，从视频中实时提取单帧图像，为人脸检测做好预处理；

所述人脸检测模块，采用适用于移动平台的人脸检测算法，对视频流中提取到的单帧图像进行人脸初始位置的检测，为接下来人脸跟踪算法提供一个所需的初始化位置；

所述人脸跟踪模块，提取目标物体的直方图模型和颜色概率分布图，然后使用特征算子提取对图像的每一帧进行迭代，当找到目标区域后，在下一帧中更新搜索窗口并进行迭代，以达到实时跟踪的效果；

所述3D图形加载模块，采用移动端三维图形渲染技术，在上述实时跟踪到的人脸位置为基准位置，对其周围场景进行三维渲染，充分匹配人脸位置，以达到增强现实效果的目的。

5.一种基于移动平台的增强现实的方法，其特征在于，具体步骤包括：

（100）、使用移动设备摄像头捕获视频流；

（200）、从视频流中获取单帧图像；

（300）、采用人脸检测算法对单帧图像进行人脸检测；

（400）、通过人脸检测得到的人脸位置作为初始位置，采用人脸跟踪算法对人脸位置进行实时跟踪；

（500）、采用三维渲染技术在跟踪到的人脸位置附近场景进行三维场景渲染以达到增强现实的效果。

6.根据权利要求5所述的基于移动平台的增强现实的方法，其特征在于，步骤（100）中实现初始化摄像头参数及设置相机预览功能。

7.根据权利要求5所述的基于移动平台的增强现实的方法，其特征在于，步骤（200）中采用对摄像头预览时的捕获的视频流进行单帧图像提取，并获取图像数据。

8.根据权利要求5所述的基于移动平台的增强现实的方法，其特征在于，步骤（300）中，采用适用于移动平台的人脸检测算法，对视频流中提取到的单帧图像进行人脸初始位置的检测，为接下来人脸跟踪算法提供一个所需的初始化位置。

9.根据权利要求5所述的基于移动平台的增强现实的方法，其特征在于，步骤（400）中，提取目标物体的直方图模型和颜色概率分布图，然后使用特征算子提取对图像的每一帧进行迭代，当找到目标区域后，在下一帧中更新搜索窗口并进行迭代，以达到实时跟踪的效果。

10.根据权利要求5所述的基于移动平台的增强现实的方法，其特征在于，步骤（500）中采用移动端三维图形渲染技术，在上述实时跟踪到的人脸位置为基准位置，对其周围场景进行三维渲染，充分匹配人脸位置，以达到增强现实效果的目的。