CN109242982A - 一种网络三维ar动态模板场景技术 - Google Patents

Abstract

本发明提供一种网络三维AR动态模板场景技术，包括：用户利用模板，能够快速地将被AR摄像机对象拍摄与三维动态场景模板进行是实时合成；通过互联网网络、社交网络进行分享传播，与现有技术相比，本发明具有如下的有益效果：可对拍摄对象生成三维的动态场景，同时可以通过互联网网络、社交网络进行分享传播。

Description

一种网络三维AR动态模板场景技术

技术领域

本发明是一种网络三维AR动态模板场景技术，属于计算机图形，网络技术和计算机视觉技术。

背景技术

面部识别及跟踪技术

面部识别技术是指利用分析比较的计算机技术识别面部,使用通用的摄像机作为识别信息获取装置，以非接触的方式获取识别对象的面部图像，计算机系统在获取图像后与数据库图像进行比对后完成识别过程。整个过程不需要人为干预，可自动完成身份鉴别等功能，它综合运用了数字图像、视频处理、模式识别等多种技术。面部识别技术属于生物特征识别技术，是对生物体(一般特指人)本身的生物特征来区分生物体个体。与指纹识别等传统的识别方式相比，具有实时、准确、高精度、易于使用、稳定性高、难仿冒、性价比高和非侵扰等特性，较容易被用户接受。

面部识别技术中被广泛采用的区域特征分析算法，它融合了计算机图像处理技术与生物统计学原理于一体，利用计算机图像处理技术从视频中提取人像特征点，利用生物统计学的原理进行分析建立数学模型,即人脸特征模板。利用已建成的人脸特征模板与被测者的面像进行特征分析，根据分析的结果来给出一个相似值。通过这个值即可确定是否为同一人。

广义的面部识别实际包括构建面部识别系统的一系列相关技术，包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等；而狭义的面部识别特指通过人脸进行身份确认或者身份查找的技术或系统。

面部识别是一项热门的计算机技术研究领域，其中包括面部追踪侦测，自动调整影像放大，夜间红外侦测，自动调整曝光强度等技术。

人脸识别技术包含三个部分：

(1)人脸检测

面貌检测是指在动态的场景与复杂的背景中判断是否存在面像，并分离出这种面像。一般有下列几种方法：

①参考模板法

首先设计一个或数个标准人脸的模板，然后计算测试采集的样品与标准模板之间的匹配程度，并通过阈值来判断是否存在人脸；

②人脸规则法

由于人脸具有一定的结构分布特征，所谓人脸规则的方法即提取这些特征生成相应的规则以判断测试样品是否包含人脸；

③样品学习法

这种方法即采用模式识别中人工神经网络的方法，即通过对面像样品集和非面像样品集的学习产生分类器；

④肤色模型法

这种方法是依据面貌肤色在色彩空间中分布相对集中的规律来进行检测。

⑤特征子脸法

这种方法是将所有面像集合视为一个面像子空间，并基于检测样品与其在子空间的投影之间的距离判断是否存在面像。

值得提出的是，上述5种方法在实际检测系统中也可综合采用。

(2)人脸跟踪

面貌跟踪是指对被检测到的面貌进行动态目标跟踪。具体采用基于模型的方法或基于运动与模型相结合的方法。此外，利用肤色模型跟踪也不失为一种简单而有效的手段。

(3)人脸比对

面貌比对是对被检测到的面貌像进行身份确认或在面像库中进行目标搜索。这实际上就是说，将采样到的面像与库存的面像依次进行比对，并找出最佳的匹配对象。所以，面像的描述决定了面像识别的具体方法与性能。主要采用特征向量与面纹模板两种描述方法：

①特征向量法

该方法是先确定眼虹膜、鼻翼、嘴角等面像五官轮廓的大小、位置、距离等属性，然后再计算出它们的几何特征量，而这些特征量形成一描述该面像的特征向量。

②面纹模板法

该方法是在库中存贮若干标准面像模板或面像器官模板，在进行比对时，将采样面像所有象素与库中所有模板采用归一化相关量度量进行匹配。此外，还有采用模式识别的自相关网络或特征与模板相结合的方法。

人脸识别技术的核心实际为“局部人体特征分析”和“图形/神经识别算法。”这种算法是利用人体面部各器官及特征部位的方法。如对应几何关系多数据形成识别参数与数据库中所有的原始参数进行比较、判断与确认。一般要求判断时间低于1秒。

AR技术

增强现实(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。AR技术的主要功能是通过计算机系统提供的信息增加用户对现实世界的感知,并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中,从而实现对现实的“增强”。该技术包含了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术与新手段。

ARkit和ARcore，分别是面向iOS平台和面向Android平台的开发增强现实应用的软件开发工具，将增强现实带入了整个移动端，从而使AR技术真正走入每个人的生活。

ARkit:

在2017年6月5日的苹果WWDC 2017全球开发者大会上，苹果发布了AR开发平台ARKit。该平台是苹果一系列软件开发工具的名称，使开发者能为iOS设备开发增强现实应用。

AR(Augment Reality)就是将3D模型渲染在摄像头图像之上，混合渲染达到虚拟物品就好像是现实的一部分。ARKit解决了模型定位难的问题，结合CoreMotion运动数据与图像处理数据，来建立一个非常准确的SLAM系统，构建虚拟世界和现实世界之间的映射。同时能够分析环境自动给模型添加光源，实际效果还是比较惊艳的。

从结构上看，ARKit提供了一套简单易用的AR框架，但框架之外，需要很多的三维空间、游戏编程、3D模型、GPU渲染的知识来理解AR技术。ARKit最重要的两个类是ARSession与ARSCNView。

ARcore:

ARCore，是Google推出的增强现实SDK，于北美时间2017年8月29日发布。这个开发工具目前已适配谷歌Pixel，Pixel XL，以及Android7.0以上的三星S8以及S8Edge，搭载三项功能——运动追踪、环境感知、光感检测，将支持大部分内容开发平台——Unreal、Unity、Vofuria、Java、OpenGL。

运动追踪(Motion tracking)：使用手机的传感器和相机，ARCore可以准确感知手机的位置和姿态，并改变显示的虚拟物体的位置和姿态。

环境感知(Environmental understanding)：感知平面，比如面前的桌子、地面，在虚拟空间中准确复现这个平面。

光感检测(Light estimation)：使用手机的环境光传感器，感知环境光照情况，对应调整虚拟物体的亮度、阴影和材质，让它看起来更融入环境。

发明内容

针对现有技术存在的不足，本发明目的是提供一种网络三维AR动态模板场景技术，以解决上述背景技术中提出的问题。

为了实现上述目的，本发明是通过如下的技术方案来实现：一种网络三维AR动态模板场景技术，包括：

用户利用模板，能够快速地将被AR摄像机对象拍摄与三维动态场景模板进行是实时合成；

通过互联网网络、社交网络进行分享传播。

进一步地，用户利用模板，能够快速地将被AR摄像机对象拍摄与三维动态场景模板进行是实时合成包括：用户打开AR摄像头选择下载三维场景模板或直接拍摄对象，当用户选择下载三维场景模板后，会动态生成场景实例对象，然后用户通过拍摄对象，进行实时合成，形成可分享的交互AR场景。

进一步地，三维场景模板类似于激萌和脸萌中的二维卡通模板，不过是以3D的形式存在的，当模板场景被下载以后，就会自动加载所有的纹理、模型、特效和动画效果，通过实时合成技术将拍摄对象与三维场景进行合成，包括遮挡、运动、光影、比例、镜头运动的交互关系，通过抠像、镜头跟踪以及匹配色彩以及光效以及真实镜头效果，生成一个可以交互的AR场景。

本发明的有益效果：本发明的一种网络三维AR动态模板场景技术，可对拍摄对象生成三维的动态场景，同时可以通过互联网网络、社交网络进行分享传播。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的原理框图；

图2为本发明的跨平台的3D场景模板技术示意图；

图3为本发明的基于镶嵌细分的场景流的3D场景技术示意图；

图4为本发明的网络下载技术示意图；

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

本发明提供一种技术方案：一种网络三维AR动态模板场景技术，包括：

用户利用模板，能够快速地将被AR摄像机对象拍摄与三维动态场景模板进行是实时合成；

通过互联网网络、社交网络进行分享传播。

如图1，用户利用模板，能够快速地将被AR摄像机对象拍摄与三维动态场景模板进行是实时合成包括：用户打开AR摄像头选择下载三维场景模板或直接拍摄对象，当用户选择下载三维场景模板后，会动态生成场景实例对象，然后用户通过拍摄对象，进行实时合成，形成可分享的交互AR场景。

三维场景模板类似于激萌和脸萌中的二维卡通模板，不过是以3D的形式存在的，当模板场景被下载以后，就会自动加载所有的纹理、模型、特效和动画效果，通过实时合成技术将拍摄对象与三维场景进行合成，包括遮挡、运动、光影、比例、镜头运动的交互关系，通过抠像、镜头跟踪以及匹配色彩以及光效以及真实镜头效果，生成一个可以交互的AR场景

如图2，作为本发明的一个实施例：本发明提供一种跨平台的3D场景模板技术：

根据目标使用的平台(IOS,ANDROID,WINDOWS,MAC)，3d场景可以从不同的数据库加载场景模型，在加载完场景对象并进行实例化以后，用户可以修改模板的输入项，用进行3D场景的个性化呈现表达。

如图3，作为本发明的一个实施例：本发明提供一种基于镶嵌细分的场景流的3D场景技术。

在此项技术中，3D的场景中的模型数据，都是通过镶嵌细分的多层次细节模型进行存储的，在加载场景的时候，先加载level0的三维模型数据，如level0中的蓝色多边形，当level0被加载成功以后，会进行逐步细分加载，即加载level1中对应区域的多边形数据，注意，在level1中的数据并不是简单的存储模型的顶点信息，而是存储level1的顶点相对于level0多边形表面的参数坐标及表面法线偏移量，这样，只需要存储(x,y,offset)一个三元数据就可以，而且，这种表达能够更容易对level0的数据进行镶嵌细分和凹凸处理。

如图4，在网络下载的过程中，3d场景流还会动态地根据带宽条件，以及3d模型距离摄像机的距离，来计算细分层次的数量以及每个数据包的大小，判断模型渲染的细分层次，即模型不同的level层级(level N)，从而大幅度提升数据传输的效率。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (3)

1.一种网络三维AR动态模板场景技术，其特征在于：包括：

用户利用模板，能够快速地将被AR摄像机对象拍摄与三维动态场景模板进行是实时合成；

通过互联网网络、社交网络进行分享传播。

2.根据权利要求1所述的一种网络三维AR动态模板场景技术，其特征在于：用户利用模板，能够快速地将被AR摄像机对象拍摄与三维动态场景模板进行是实时合成包括：用户打开AR摄像头选择下载三维场景模板或直接拍摄对象，当用户选择下载三维场景模板后，会动态生成场景实例对象，然后用户通过拍摄对象，进行实时合成，形成可分享的交互AR场景。

3.根据权利要求2所述的一种网络三维AR动态模板场景技术，其特征在于：三维场景模板类似于激萌和脸萌中的二维卡通模板，不过是以3D的形式存在的，当模板场景被下载以后，就会自动加载所有的纹理、模型、特效和动画效果，通过实时合成技术将拍摄对象与三维场景进行合成，包括遮挡、运动、光影、比例、镜头运动的交互关系，通过抠像、镜头跟踪以及匹配色彩以及光效以及真实镜头效果，生成一个可以交互的AR场景。