CN110232664A - 一种基于增强现实的傩面具修复方法 - Google Patents

一种基于增强现实的傩面具修复方法 Download PDF

Info

Publication number
CN110232664A
CN110232664A CN201910511300.9A CN201910511300A CN110232664A CN 110232664 A CN110232664 A CN 110232664A CN 201910511300 A CN201910511300 A CN 201910511300A CN 110232664 A CN110232664 A CN 110232664A
Authority
CN
China
Prior art keywords
mask
model
exorcising
feature
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910511300.9A
Other languages
English (en)
Inventor
王存睿
张煜
王磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Minzu University
Original Assignee
Dalian Nationalities University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Nationalities University filed Critical Dalian Nationalities University
Priority to CN201910511300.9A priority Critical patent/CN110232664A/zh
Publication of CN110232664A publication Critical patent/CN110232664A/zh
Pending legal-status Critical Current

Links

Classifications

    • G06T5/77
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于增强现实的傩面具修复方法,包括:步骤1:构建三维模型;步骤2:三维模型虚实融合渲染;步骤3:采用改进的ORB算法实现了傩面具的逼真还原。增强现实系统虽然在教育等诸多领域取得了一定的应用成果,但对于民族文化保护,特别是傩面具数字化展示,还需要解决在模型特征显示、快速数字化建模,高度仿真与渲染等问题。由此本发明使用改进的ORB算法做特征检测和匹配,并通过EPnP算法与unity3d自带的坐标系转换方法,进行虚拟模型在真实世界中的相对位置估计,融合现实虚拟模型。

Description

一种基于增强现实的傩面具修复方法
技术领域
本发明涉及面具修复技术领域,具体地说是一种基于增强现实的傩面具修复方法。
背景技术
傩文化是中国传统文化的重要组成部分。王国维说,“面具之兴古矣。周官方相周官方相氏,掌蒙熊皮,黄金四目,玄衣朱裳,执戈扬盾,似已为面具之始。”在2016年贵阳举办的国际民族民间文化旅游产品博览会上,其实际销售的旅游产品大多数集中在传统的民族蜡染、刺绣、银饰上,傩文化相关的旅游产品局限于传统傩雕工艺美术,产品显示性质雷同、思维局限,以傩戏面具为元素与现代设计相结合的文创产品极度缺乏。
移动增强现实(MobileAugmentedReality,MAR)这项技术在教育、娱乐、医疗、旅游等众多领域具有良好的应用前景。增强现实技术是一种将虚拟世界信息“无缝”叠加到真实世界的技术,通过将计算机生成的信息叠加到真实世界而使用户达到超越现实的感官体验。为了实现这种无差别融合,需要检测增强的对象(物体识别)和估计虚拟模型的位置及旋转(注册追踪)。
然而,对于傩文化面具的细节表现,如何表现细节纹理清晰的模型,形成实时性强且有参考性的傩面具移动增强现实系统,这方面的研究几乎没有。
发明内容
针对上述问题,本申请提供一种基于增强现实的傩面具修复方法,能够在实际场景中对傩面具进行高仿真度的三维渲染与管理。
为实现上述目的,具体技术方案如下:一种基于增强现实的傩面具修复方法,包括如下内容:
步骤1:三维模型快速构建:三维扫描生成的面具模型包含较多几何信息,图形纹理,噪点等最原始的数据。直接采集的模型数据会有多余且精度不一的部分,所以要经过一定的处理。此处提供一种高效的建模工作流程如图2,涵盖了复原处理,降维处理,特征增强等内容:首先将采集的点阵数据导入逆向生成点云数据,对比原始高清图像,根据面具的边缘特征,去除多余的噪点,生成粗模。
进一步地,进行网格重构,逐步实现面具模型的四边形网格的重新拓扑,得到网格清晰的OBJ格式模型,对于模型表面凹凸明显的部分,使网格沿模型轮廓做一定的倾斜,网格倾斜增强部分特征,实现几何重构。
进一步地,经过模型重构的逆向工程及优化,需要对采集的纹理信息,特征色彩进行提取处理,提取带有不同光照、阴影和色彩等信息的贴图,最后合成贴图材质加载到固体模型中,通过实时渲染展示傩面具的纹理细节。
面具的特征增强化处理,首先要识别出需要进行特征增强处理的修补区域,即特征选择。网格方向都是纵横交错的,没有任何曲线这就造成了模型边沿锯齿和图形立体感不平滑,被采集物经过长时间的保存或使用,表面一些细节已经被淡化或者缺失。在模型补洞以及顶点优化方面,利用改进的基于泊松方程的孔洞修补特征增强算法,通过使用统一的局部平滑算子,根据曲面平均弯曲度对带有显著特征的孔洞修补区域进行识别,采用指定的邻域顶点加权法向量对顶点进行调整,从而加强曲面特征。将曲面重新网格化为各向同性的三角形或四元网格,从而优化输出网格中的边缘方向和顶点位置。生成具有高各向同性的网格,同时将边缘对齐并捕捉到清晰的特征。后期针对模型特征趋势和深度,优化网格方向和曲度,增强面具特征在三维空间中形象塑造更生动。改进的基于泊松方程的孔洞修补特征增强算法包括以下步骤:
步骤11,遍历检测输入网格模型孔洞;
步骤12,对孔洞周边的显著曲度特征相邻顶点进行选择。
步骤13,估计邻域范围所有顶点曲率
式中Di为三角网格上任意点,为Di的法向量,Dj为Di的相邻顶点,曲率为Cij
步骤14,计算曲面平均弯曲度,指定曲面的变化程度。通过顶点曲率计算得到曲面平均弯曲度,与设定阈值比较,若大于阈值,则增强该区域存在显著特征,曲化效果如图3。
步骤2:模型的渲染,通过使用3dMax建模软件,对于模型纹理信息采用“低模+贴图”制作模式,把模型在三维软件的UV展开,然后输出一个含有UV线条的图片,使用Photoshop软件进行绘制或处理。傩面具MAR系统采用Unity3D渲染引擎在真实场景中绘制三维模型,实现虚实场景的融合显示。将基于物理渲染后带有光照信息环境光、法线、漫反射光照贴图组合的使用实现模型纹理的高清逼真还原。这样对三维模型材质的实时渲染烘焙,大大提高了图像渲染的效果。
步骤3:跟踪注册技术是增强现实系统的基础,它决定了系统感知定位真实世界中识别图片的能力,这里采用基于计算机视觉的无标识跟踪注册方法,通过C#语言实现图片特征提取匹配与无标识跟中注册,算法的具体流程如下:
步骤31,从相机中捕获真实世界的图像作为参照图像;
步骤32,根据计算机视觉特征提取和匹配,决定虚拟场景的空间坐标;
步骤33,通过位姿估计算法计算3D模型与参照面的位置关系;
步骤34,在匹配正确的参考图像区域现实对应的3D模型。
进一步地,特征提取是一种角点检测法,抽取图像中的检测像素周围的像素,如果16个像素与该点像素值不同,则判断其为角点,即为FAET-16。这里对ORB算法进行适应傩面具图像识别的改进如图4,设置FAST角点阈值为8,即FAST-8,特征点数量不超过300,对纹理特征点距离阈值设为0.02,再设定一个阈值75%。当匹配的的描述子的相似度大于75%时即可判断是相同特征。
本发明能够取得以下技术效果:
1、能够在实际场景中对傩面具进行高仿真度的三维渲染与管理。
2、实现了移动增强现实系统在傩面具修复的应用。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简要介绍:
图1是本申请一种基于增强现实的傩面具修复建构思路图;
图2是本申请的傩面具模型处理流程图;
图3是本申请的网格曲化与特征增强示意图;
图4是FAST-16算法与FAST-8算法的效果对比图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细的描述:以此为例对本申请做进一步的描述说明。显然,所描述的实施例仅仅是本发明中的一部分实施例,而不是全部实施例。
参照图1,一种基于增强现实的傩面具修复建构思路图,目前主流的图片特征检测技术有SURF,SIFT,ORB等;虚拟模型的三维注册标识方法有两种,一种是通过在兴趣物体上设置人工标识的方法来实现的,另一种是无标识三维注册追踪,依靠场景中图片特征或物体自身特征完成追踪。然而,对于傩文化面具的细节表现,如何表现细节纹理清晰的模型,形成实时性强且有参考性的傩面具移动增强现实系统,这方面的研究几乎没有。本实施例提出的一种基于增强现实的傩面具修复方法,包括如下内容:
3D模型的构建、渲染的优化:快速模型生成,根据面具的边缘特征,去除多余的噪点,生成粗模。
进一步地,模型网络顶点优化,实现网格重构,逐步实现面具模型的四边形网格的重新拓扑,得到网格清晰地OBJ格式模型,对于模型表面凹凸明显的部分,需要使网格沿模型轮廓做一定的倾斜,网格倾斜增强部分特征,实现几何重构。
进一步地,局部特征曲化平滑,经过模型重构的逆向工程及优化,需要对采集的纹理信息,特征色彩提取处理,提取带有不同光照、阴影和色彩等信息的贴图,最后合成贴图材质加载到固体模型,通过实时渲染展示傩面具的纹理细节。
模型注册和管理,特征标识匹配:图片特征定位、几何特征提取、目标特征识别。
参照图4,特征点提取方面,对ORB算法进行适应傩面具图像识别对的改进,设置FAST角点阈值为8即FAST-8,特征点数量不超过300,对纹理特征点距离阈值设为0.02,再设定一个阈值75%。当匹配的的描述子的相似度大于75%时即可判断是相同特征。
进一步地,模型在虚拟空间中成像,首先需要统一模型的几何中心对应的在虚拟空间中进行空间坐标系变换,将模型的本地坐标关联到虚拟世界坐标系。
进一步地,对模型的顶点进行世界坐标变换,将模型中的纹理和顶点转换成对应的像素点,通过网格生成器显示顶点网格模型,着色器对网格模型渲染纹理信息。
进一步地,将虚拟空间中模型坐标系与图像投影转换为相机坐标系的几何变换,相机位姿估计就是实时的计算手机摄像头的姿态,在获取上述的图像与标识图像特征匹配后得到的初始化匹配点集,确定傩面具图像的特征区域后。
进一步地,再使用EPnP算法计算摄像头的位姿,EPnP算法得到一个位姿估计这里就要用到单应性矩阵变换,从实射影平面到射影平面的可逆变换,这种映射可以用矩阵相乘的方式表示:
P=A*W*M
式中P表示二维图像的坐标,A表示相机参数矩阵,W存放相机内部参数,M是三维世界的坐标。
进一步地,Unity3D渲染引擎使用的世界坐标系和摄像机坐标系均为左手坐标系,利用现存坐标系转化,不同的是在Android平台上、本申请通过AndroidJDK实现JAVA和C#方法的互相调用,实现参数矩阵R和T从Andriod到unity3D的相机位姿参数传递,进而实现虚拟模型从二维到三维的跟踪注册。
增强现实系统虽然在教育等诸多领域取得了一定的应用成果,但对于民族文化保护,特别是傩面具数字化展示,还需要解决在模型特征显示、快速数字化建模,高度仿真与渲染等问题。由此本发明使用改进的ORB算法做特征检测和匹配,并通过EPnP算法与unity3d自带的坐标系转换方法,进行虚拟模型在真实世界中的相对位置估计,融合现实虚拟模型,最终完成一种基于增强现实的傩面具修复的方法。
本方法能够应用在移动智能手机端,将大大增加其便捷性,在实际应用过程中也将更加方便快捷。手机端在模型渲染、读取以及色彩表现力等方面,因其自身硬件的限制远远不能与PC相比。将增强现实技术应用于其上,要保证效果和性能平衡,必须要严格控制三维模型的面数和灯光数,尽量避免使用实时光影这些功能,因为这会成倍数的增加模型面数和顶点数。因此首先要考虑的是对三维虚拟模型的优化处理。其次,MAR虚实融合要保证虚拟模型和真实场景有正确的位置、透视和遮挡关系,还要保证它们之间明暗、阴影等光照匹配关系,估计真实场景的光照信息,完成虚拟物体的渲染与融合。
以上所述,仅为本发明创造较佳的具体实施方式,但本发明创造的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明创造披露的技术范围内,根据本发明创造的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明创造的保护范围之内。

Claims (7)

1.一种基于增强现实的傩面具修复方法,其特征在于,包括:
步骤1:构建三维模型;
步骤2:三维模型虚实融合渲染;
步骤3:采用改进的ORB算法实现了傩面具的逼真还原。
2.根据权利要求1所述一种基于增强现实的傩面具修复方法,其特征在于,所述构建三维模型,包括复原处理,降维处理,特征增强;即面具虚拟模型的采集和预处理、面具的特征增强化处理。
3.根据权利要求1所述一种基于增强现实的傩面具修复方法,其特征在于,所述三维模型虚实融合渲染,具体包括:
步骤21:对三维虚拟模型的优化处理;
步骤22:局部特征优化;
步骤23:纹理融合渲染。
4.根据权利要求2所述一种基于增强现实的傩面具修复方法,其特征在于,面具虚拟模型的采集和预处理包括:
将采集的点阵数据导入逆向生成点云数据,对比原始图像,根据面具的边缘特征,去除多余的噪点,生成粗模;
进行网格重构,逐步实现面具模型的四边形网格的重新拓扑,得到网格清晰地OBJ格式模型,对于模型表面凹凸明显的部分,使网格沿模型轮廓做一定的倾斜,网格倾斜增强部分特征,实现几何重构;
经过模型重构的逆向工程及优化,需要对采集的纹理信息、特征色彩进行提取处理,提取带有不同光照、阴影和色彩信息的贴图,最后合成贴图材质加载到固体模型中,通过实时渲染展示傩面具的纹理细节。
5.根据权利要求2所述一种基于增强现实的傩面具修复方法,其特征在于,面具的特征增强化处理在于改进的基于泊松方程的孔洞修补特征增强算法,其包括:
步骤11:遍历检测输入网格模型孔洞;
步骤12:对孔洞周边的显著曲度特征相邻顶点进行选择;
步骤13:估计邻域范围所有顶点的曲率;
步骤14:计算曲面平均弯曲度,指定曲面的变化程度。
6.根据权利要求3所述一种基于增强现实的傩面具修复方法,其特征在于,对于模型纹理信息采用“低模+贴图”制作模式,把模型在三维软件的UV展开,然后输出一个含有UV线条的图片,使用PS来进行绘制或处理;傩面具MAR系统采用Unity3D渲染引擎在真实场景中绘制三维模型,实现虚实场景的融合显示。
7.根据权利要求1所述一种基于增强现实的傩面具修复方法,其特征在于,步骤3采用基于计算机视觉的无标识跟踪注册方法,通过图片特征提取匹配与无标识跟踪注册,具体流程如下:
步骤31:从相机中捕获真实世界的图像作为参照图像;
步骤32:根据计算机视觉特征提取和匹配,决定虚拟场景的空间坐标;
步骤33:通过位姿估计算法计算3D模型与参照面的位置关系;
步骤34:在匹配正确的参考图像区域现实对应的3D模型。
CN201910511300.9A 2019-06-13 2019-06-13 一种基于增强现实的傩面具修复方法 Pending CN110232664A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910511300.9A CN110232664A (zh) 2019-06-13 2019-06-13 一种基于增强现实的傩面具修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910511300.9A CN110232664A (zh) 2019-06-13 2019-06-13 一种基于增强现实的傩面具修复方法

Publications (1)

Publication Number Publication Date
CN110232664A true CN110232664A (zh) 2019-09-13

Family

ID=67859885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910511300.9A Pending CN110232664A (zh) 2019-06-13 2019-06-13 一种基于增强现实的傩面具修复方法

Country Status (1)

Country Link
CN (1) CN110232664A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111354031A (zh) * 2020-03-16 2020-06-30 浙江一木智能科技有限公司 基于深度学习的3d视觉引导系统
CN112330796A (zh) * 2020-10-15 2021-02-05 江西理工大学 地下历史遗迹的三维建模、修复及可视化方法以及装置
CN112530027A (zh) * 2020-12-11 2021-03-19 北京奇艺世纪科技有限公司 一种三维点云修复方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120069051A1 (en) * 2008-09-11 2012-03-22 Netanel Hagbi Method and System for Compositing an Augmented Reality Scene
CN104050475A (zh) * 2014-06-19 2014-09-17 樊晓东 基于图像特征匹配的增强现实的系统和方法
WO2015192117A1 (en) * 2014-06-14 2015-12-17 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
WO2018058601A1 (zh) * 2016-09-30 2018-04-05 深圳达闼科技控股有限公司 虚拟与现实融合方法、系统和虚拟现实设备
CN109246195A (zh) * 2018-08-13 2019-01-18 孙琤 一种融合增强现实、虚拟现实的管网智能管控方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120069051A1 (en) * 2008-09-11 2012-03-22 Netanel Hagbi Method and System for Compositing an Augmented Reality Scene
WO2015192117A1 (en) * 2014-06-14 2015-12-17 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN104050475A (zh) * 2014-06-19 2014-09-17 樊晓东 基于图像特征匹配的增强现实的系统和方法
WO2018058601A1 (zh) * 2016-09-30 2018-04-05 深圳达闼科技控股有限公司 虚拟与现实融合方法、系统和虚拟现实设备
CN109246195A (zh) * 2018-08-13 2019-01-18 孙琤 一种融合增强现实、虚拟现实的管网智能管控方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘红霞: "增强现实技术在傩面具数字化保护中的应用", 《现代经济信息》 *
王磊等: "贵州傩面具数字化及增强现实技术研究", 《大连民族大学学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111354031A (zh) * 2020-03-16 2020-06-30 浙江一木智能科技有限公司 基于深度学习的3d视觉引导系统
CN111354031B (zh) * 2020-03-16 2023-08-29 浙江一木智能科技有限公司 基于深度学习的3d视觉引导系统
CN112330796A (zh) * 2020-10-15 2021-02-05 江西理工大学 地下历史遗迹的三维建模、修复及可视化方法以及装置
CN112530027A (zh) * 2020-12-11 2021-03-19 北京奇艺世纪科技有限公司 一种三维点云修复方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN107292965B (zh) 一种基于深度图像数据流的虚实遮挡处理方法
CN109872397B (zh) 一种基于多目立体视觉的飞机零件的三维重建方法
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
CN106803267B (zh) 基于Kinect的室内场景三维重建方法
US7522163B2 (en) Method and apparatus for determining offsets of a part from a digital image
CN103733226B (zh) 快速的有关节运动的跟踪
JP6201476B2 (ja) 自由視点画像撮像装置およびその方法
CN110232664A (zh) 一种基于增强现实的傩面具修复方法
CN108898665A (zh) 三维人脸重建方法、装置、设备及计算机可读存储介质
CN107155341A (zh) 三维扫描系统和框架
CN113012293A (zh) 石刻模型构建方法、装置、设备及存储介质
CN111583381B (zh) 游戏资源图的渲染方法、装置及电子设备
CN112784621A (zh) 图像显示方法及设备
CN111382618B (zh) 一种人脸图像的光照检测方法、装置、设备和存储介质
WO2023093739A1 (zh) 一种多视图三维重建的方法
CN109064533B (zh) 一种3d漫游方法及系统
WO2019164497A1 (en) Methods, devices, and computer program products for gradient based depth reconstructions with robust statistics
CN107330980A (zh) 一种基于无标志物的虚拟家具布置系统
Özbay et al. A voxelize structured refinement method for registration of point clouds from Kinect sensors
CN108629828B (zh) 三维大场景的移动过程中的场景渲染过渡方法
CN109461197B (zh) 一种基于球面uv和重投影的云实时绘制优化方法
CN112365589B (zh) 一种虚拟三维场景展示方法、装置及系统
Fan et al. Convex hull aided registration method (CHARM)
CN114782645A (zh) 虚拟数字人制作方法、相关设备及可读存储介质
WO2019042028A1 (zh) 全视向的球体光场渲染方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190913

RJ01 Rejection of invention patent application after publication