CN112242004A - 一种基于光照渲染的ar场景的虚拟雕刻方法及系统 - Google Patents

一种基于光照渲染的ar场景的虚拟雕刻方法及系统 Download PDF

Info

Publication number
CN112242004A
CN112242004A CN201910639842.4A CN201910639842A CN112242004A CN 112242004 A CN112242004 A CN 112242004A CN 201910639842 A CN201910639842 A CN 201910639842A CN 112242004 A CN112242004 A CN 112242004A
Authority
CN
China
Prior art keywords
carving
content
image
illumination
dimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910639842.4A
Other languages
English (en)
Other versions
CN112242004B (zh
Inventor
薛志东
赵路
曾喻江
区士颀
陈维亚
周成
汪元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201910639842.4A priority Critical patent/CN112242004B/zh
Publication of CN112242004A publication Critical patent/CN112242004A/zh
Application granted granted Critical
Publication of CN112242004B publication Critical patent/CN112242004B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于光照渲染的AR场景的虚拟雕刻方法及系统，属于图像处理领域。包括：对移动终端摄像头采集到的AR场景图像，识别出待雕刻目标物；从待雕刻目标物分割出雕刻区域；根据输入的雕刻内容参数，生成雕刻内容；对雕刻内容进行布局，得到原始雕刻内容图像；根据原始雕刻内容图像各像素的位置信息，计算各像素对应的深度，生成雕刻内容的三维模型；根据光照方向和光照强度，对雕刻内容的三维模型进行光照渲染，并映射到二维平面，得到光照渲染后图像；根据雕刻区域，将光照渲染后图像与AR场景图像进行合成，得到虚拟雕刻后图像。本发明对光照相关参数进行估计，对雕刻内容进行光照渲染，使得雕刻内容的光照效果与AR场景具有一致性。

Description

一种基于光照渲染的AR场景的虚拟雕刻方法及系统
技术领域
本发明属于图像处理领域，更具体地，涉及一种基于光照渲染的AR场景的虚拟雕刻方法及系统。
背景技术
如今，AR(Augmented Reality，现实增强)技术飞速发展，相关的应用也不断涌现。越来越多的AR应用，诸如广告宣传、导览、辅助医疗等应用走进了人们的日常生活。但多数的AR素材为提前制作好的固定素材，这就限制了素材的丰富性。采用虚拟刻字的方法来实时生成AR素材，既能提高AR应用的开发普及效率，同时能够提升AR应用的丰富性。
现有可用于AR场景中虚拟刻字的方法有：1)通过相关的图像处理软件进行手工处理合成。但这样处理耗时，且处理效果跟进行处理的人的经验有关。此外，由于缺乏AR场景信息，例如，天气、光照、位置、时间等，不能很好地与AR场景相融合，更无法与AR场景的变化相应的实时渲染，无法灵活的应用于AR场景。2)计算机虚拟雕刻方法，例如，专利CN102509355A公开了一种面向书法汉字的计算机虚拟雕刻方法，该方法虽然能够构造出虚拟雕刻作品的3维模型，但是在光照缺乏与AR场景的融合，同时，缺乏对纹理上的处理，难以达到与AR场景相融合的效果。同时，该方法要求输入汉字书法图像这类具在字形上具有灰度信息的图像，在雕刻上有很大的局限性，无法定制内容，这也就阻碍了应用于AR场景。
发明内容
针对现有技术的缺陷，本发明的目的在于解决现有技术虚拟雕刻与AR场景难以融合的技术问题。
为实现上述目的，第一方面，本发明实施例提供了一种基于光照渲染的AR场景的虚拟雕刻方法，该方法包括以下步骤：
S1.对移动终端摄像头采集到的AR场景图像，识别出待雕刻目标物；
S2.从待雕刻目标物分割出雕刻区域；
S3.根据输入的雕刻内容参数，生成雕刻内容；
S4.对雕刻内容进行布局，得到原始雕刻内容图像；
S5.根据原始雕刻内容图像各像素的位置信息，计算各像素对应的深度，生成雕刻内容的三维模型；
S6.根据光照方向和光照强度，对雕刻内容的三维模型进行光照渲染，并映射到二维平面，得到光照渲染后图像；
S7.根据雕刻区域，将光照渲染后图像与AR场景图像进行合成，得到虚拟雕刻后图像。
具体地，步骤S3中，输入雕刻内容信息的方式有以下两种：1)自定义书写方式，由终端设备绘制而来，同时输入字符的颜色；2)标准输入方式，由字符、字体、大小、粗细、颜色组成。
具体地，步骤S5中，像素的深度计算公式如下：
dep(x,y)＝ln(dist(x,y)-1)
其中，(x,y)表示雕刻内容中像素的位置信息，dist(x,y)为坐标为(x,y)的像素到雕刻内容边缘的最短距离。
具体地，步骤S5中，将平面坐标(x,y)及其对应的深度dep(x,y)组合为(x,y,d)，作为带有深度信息的雕刻内容图像的像素点。
具体地，步骤S6包括以下步骤：
S601.根据时间及移动终端的地理位置信息，确定光照方向向量，根据该地理位置信息的天气信息和移动终端摄像头的感光强度，获得光照强度；
S602.根据光照强度、光照方向向量，建立光源，采用局部光照模型和光线追踪算法对雕刻内容的三维模型进行光照渲染；
S603.由雕刻内容三维模型法线方向视图映射到二维平面，生成经光照渲染后的图像。
具体地，步骤S7包括以下步骤：
S701.对原始雕刻内容图像进行二值化处理，生成雕刻内容掩模；
S702.根据雕刻内容掩模直接取反，得到背景掩模；
S703.利用雕刻内容掩模从经光照渲染模块渲染后的图像中提取雕刻内容部分，利用背景掩模从雕刻区域图像中提取背景部分，将两部分进行叠加，得到叠加后的图像；
S704.利用叠加后的图像替换AR场景图像中的雕刻区域，得到雕刻后的目标图像。
具体地，步骤S5还包括：根据输入的纹理信息，生成雕刻内容的纹理图像；将雕刻内容的三维模型与雕刻内容的纹理图像进行映射，得到纹理映射后的雕刻内容的三维模型。
具体地，步骤S5还包括：根据待雕刻区域的纹理信息，生成雕刻内容的纹理图像；将雕刻内容的三维模型与雕刻内容的纹理图像进行映射，得到纹理映射后的雕刻内容的三维模型。
第二方面，本发明实施例提供了一种基于光照渲染的AR场景的虚拟雕刻系统，该系统包括：AR模块、雕刻内容生成与布局模块、雕刻深度提取模块、光照渲染模块、图像合成模块；
所述AR模块，用于对移动终端摄像头采集到的AR场景图像，识别出待雕刻目标物，从待雕刻目标物分割出雕刻区域；
所述雕刻内容生成与布局模块，用于根据输入的雕刻内容参数，生成雕刻内容，对雕刻内容进行布局，得到原始雕刻内容图像；
所述雕刻深度提取模块，用于根据原始雕刻内容图像各像素的位置信息，计算各像素对应的深度，生成雕刻内容的三维模型；
所述光照渲染模块，用于根据光照方向和光照强度，对雕刻内容的三维模型进行光照渲染，映射到二维平面，得到光照渲染后图像；
所述图像合成模块，用于根据雕刻区域，将光照渲染后图像与AR场景图像进行合成，得到虚拟雕刻后图像。
第三方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面所述的基于光照渲染的AR场景的虚拟雕刻方法。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：
1.本发明采用实时数据以及历史大数据相结合，对光照相关参数进行估计计算，再根据计算机图形学相关的光照模型对雕刻内容进行光照渲染。通过该处理，使得雕刻内容的光照效果与AR场景具有一致性，增强真实感。
2.本发明采用深度学习的方法对图像的纹理风格进行学习，使雕刻图像具有背景雕刻区域的纹理风格，通过图像风格迁移，使雕刻内容具有纹理结构，与AR场景更加契合。
3.本发明通过深度学习的方法对雕刻背景区域的纹理材质进行学习，该技术采用深度学习的方法，将雕刻区域的图片作为输入，经过神经网络，学习到雕刻区域的纹理材质属性，使雕刻内容具有纹理结构，与AR场景更加契合。
附图说明
图1为本发明实施例提供的一种基于光照渲染的AR场景的虚拟雕刻方法流程图；
图2为本发明实施例提供的AR场景示意图；
图3为本发明实施例提供的分割出的雕刻区域示意图；
图4为本发明实施例提供的原始雕刻内容图像示意图；
图5为本发明实施例提供的经光照渲染模块渲染后的图像示意图；
图6为本发明实施例提供的雕刻内容掩模示意图；
图7为本发明实施例提供的背景掩模示意图；
图8(a)为本发明实施例提供的雕刻内容部分示意图；
图8(b)为本发明实施例提供的背景部分示意图；
图8(c)为本发明实施例提供的叠加后的图像示意图；
图9为本发明实施例提供的雕刻后的目标图像示意图；
图10(a)为本发明实施例提供的雨雪等特效的渲染示意图；
图10(b)为本发明实施例提供的紫外特效的渲染示意图；图10(c)为本发明实施例提供的腐蚀特效示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，一种基于光照渲染的AR场景的虚拟雕刻方法，该方法包括以下步骤：
S1.对移动终端摄像头采集到的AR场景图像，识别出待雕刻目标物；
S2.从待雕刻目标物分割出雕刻区域；
S3.根据输入的雕刻内容参数，生成雕刻内容；
S4.对雕刻内容进行布局，得到原始雕刻内容图像；
S5.根据原始雕刻内容图像各像素的位置信息，计算各像素对应的深度，生成雕刻内容的三维模型；
S6.根据光照方向和光照强度，对雕刻内容的三维模型进行光照渲染，并映射到二维平面，得到光照渲染后图像；
S7.根据雕刻区域，将光照渲染后图像与AR场景图像进行合成，得到虚拟雕刻后图像。
步骤S1.对移动终端摄像头采集到的AR场景图像，识别出待雕刻目标物。
用户使用移动终端摄像头对AR场景进行采集，对采集到的AR场景图像，通过计算机视觉方法识别出待雕刻目标物，例如，墙壁、石头、树干。采集到的AR场景图像如图2所示，待雕刻目标物为石头。
步骤S2.从待雕刻目标物分割出雕刻区域。
根据目标物的边缘以及纹理特征，从待雕刻目标物分割出雕刻区域。分割出的雕刻区域如图3所示。
步骤S3.根据输入的雕刻内容参数，生成雕刻内容。
雕刻内容具有高度的可定制性，可以是指定颜色、大小、位置的字符内容，或者是采用自己绘制的字符、图案等。首先，根据输入的雕刻内容相关信息生成雕刻内容，输入雕刻内容信息的方式有以下两种：1)自定义书写方式，可以是由移动终端、数位板、触控屏、鼠标等设备绘制而来，同时输入字符的颜色。2)标准输入方式，由字符、字体、大小、粗细、颜色组成。在本实施例中，用户定制的雕刻内容为字符“风景如画”，字体为华文行楷，大小为20，粗细为标准粗细，颜色为红色。雕刻参数和雕刻内容可以通过网络方式从服务器等设备获取。
步骤S4.对雕刻内容进行布局，得到原始雕刻内容图像。
根据生成的雕刻内容和雕刻区域进行布局，生成原始雕刻内容图像。布局包括：字符横着排、字符竖着排等。生成原始雕刻内容图像如图4所示。雕刻布局可以通过网络方式从服务器等设备获取。
步骤S5.根据原始雕刻内容图像各像素的位置信息，计算各像素对应的深度，生成雕刻内容的三维模型。
根据原始雕刻内容图像各像素的位置信息，计算得到该像素对应的深度信息。像素的深度计算公式如下：
dep(x,y)＝ln(dist(x,y)-1)
其中，(x,y)表示雕刻内容(包括边缘)中像素的位置信息，dist(x,y)为坐标为(x,y)的像素到雕刻内容边缘的最短距离(欧式距离)。
深度计算公式中的对数函数也可替换为其他性质相似的函数：经过原点，在[0,+∞)内导数大于0，导函数单调减少。或者根据雕刻效果的不同需求调整为其他性质的函数。
将平面坐标(x,y)及其对应的深度dep(x,y)组合为(x,y,d)，作为带有深度信息的雕刻内容图像的像素点。
雕刻内容的三维模型可以直接由含有深度信息的雕刻内容图像经过计算机图形学参数化映射的方法生成。优化地，可以先由含有深度信息的雕刻内容图像生成有间隔性的雕刻轮廓线(轮廓线由具有相同深度dep(x,y)生成，间隔可以由取一定值的深度差生成)，再由雕刻轮廓线生成雕刻内容的三维模型。
步骤S6.根据光照方向和光照强度，对雕刻内容的三维模型进行光照渲染，并映射到二维平面，得到光照渲染后图像。
S601.根据时间及移动终端的地理位置信息，确定光照方向向量，根据该地理位置信息的天气信息和移动终端摄像头的感光强度，获得光照强度。
移动终端的地理位置信息包括经纬度、海拔、方向，该地理位置信息的天气信息包括时间、温度、紫外线强度等，时间可以季节、时刻等。可通过查询日照数据库或者根据先验知识建模方式，确定光照方向向量。
S602.根据光照强度、光照方向向量，建立光源，采用局部光照模型和光线追踪算法对雕刻内容的三维模型进行光照渲染。
局部光照模型可以采用简单光照模型、Phone光照模型等。采用光线追踪算法进行全局光照的渲染。
S603.由雕刻内容三维模型法线方向视图映射到二维平面，生成经光照渲染后的图像。
得到的经光照渲染模块渲染后的图像如图5所示。进行雕刻渲染过程中，会结合背景、天气、地理位置、时间等信息，不仅渲染出一个有深度、光影的模型。而且，还与背景的纹理，实时的天气、地理位置信息相融合，更好的融入AR场景。
步骤S7.根据雕刻区域，将光照渲染后图像与AR场景图像进行合成，得到虚拟雕刻后图像。
S701.对原始雕刻内容图像进行二值化处理，生成雕刻内容掩模。
生成的雕刻内容掩模如图6所示。
S702.根据雕刻内容掩模直接取反，得到背景掩模。
得到的背景掩模如图7所示。
S703.利用雕刻内容掩模从经光照渲染模块渲染后的图像中提取雕刻内容部分，利用背景掩模从雕刻区域图像中提取背景部分，将两部分进行叠加，得到叠加后的图像。
提取到的雕刻内容部分如图8(a)所示，提取到的背景部分如图8(b)所示，得到叠加后的图像如图8(c)所示。
S704.利用叠加后的图像替换AR场景图像中的雕刻区域，得到雕刻后的目标图像。
得到的雕刻后的目标图像如图9所示。
在雕刻处理的过程中，不需要手工进行处理。
优选地，步骤S5还包括：根据输入的纹理信息，生成雕刻内容的纹理图像；将雕刻内容的三维模型与雕刻内容的纹理图像进行映射，得到纹理映射后的雕刻内容的三维模型。
在输入的雕刻内容参数时，可同时输入雕刻内容的纹理信息。
优选地，步骤S5还包括：根据待雕刻区域的纹理信息，生成雕刻内容的纹理图像；将雕刻内容的三维模型与雕刻内容的纹理图像进行映射，得到纹理映射后雕刻内容的三维模型。
雕刻内容图像的纹理图像的生成方法包括但不限于以下两种：
1)深度学习风格迁移，用于根据待雕刻区域的纹理风格，生成待雕刻内容的纹理风格。
输入雕刻区域图像及原始雕刻内容图像，通过深度学习方法进行图像风格的迁移。雕刻区域图像作为风格迁移神经网络的输入风格图像，原始雕刻内容图像作为要进行风格迁移的图像，经过风格迁移网络之后，得到雕刻内容图像的纹理图像。
2)深度学习表观建模
输入雕刻区域图像，通过深度学习方法得到雕刻区域的纹理材质。根据雕刻区域的纹理材质，生成雕刻内容的纹理图像。
将带有雕刻内容的三维模型与雕刻内容的纹理图像进行映射，得到纹理映射后的雕刻内容的三维模型。映射方式如下：
(x0,y0,d0)→(u0,v0)
(x1,y1,d1)→(u1,v1)
(x2,y2,d2)→(u2,v2)
其中，(x,y,d)为雕刻内容的三维模型的像素点，(u,v)为纹理图像的像素点坐标。
优选地，该方法还包括步骤S8.对虚拟雕刻后图像进行显示。
除了基本的雕刻内容显示之外，还可进行特效渲染。查询天气信息(风速、阴晴、雨雪、紫外线强度等)和结合移动终端摄像头采集的图像信息(感光强度)，进行如图10(a)所示雨雪等特效的渲染，或是如图10(b)所示紫外特效(根据紫外线强度的不同显示出不同的颜色等效果)。除此之外，还可根据时间轴查看早前时间雕刻内容的效果，以及如图10(c)所示早前时间雕刻内容经过一段时间后的腐蚀特效。
一种基于光照渲染的AR场景的虚拟雕刻系统，该系统包括：AR模块、雕刻内容生成与布局模块、雕刻深度提取模块、光照渲染模块、图像合成模块；
所述AR模块，用于对移动终端摄像头采集到的AR场景图像，识别出待雕刻目标物，从待雕刻目标物分割出雕刻区域；
所述雕刻内容生成与布局模块，用于根据输入的雕刻内容参数，生成雕刻内容，对雕刻内容进行布局，得到原始雕刻内容图像；
所述雕刻深度提取模块，用于根据原始雕刻内容图像各像素的位置信息，计算各像素对应的深度，生成雕刻内容的三维模型；
所述光照渲染模块，用于根据光照方向和光照强度，对雕刻内容的三维模型进行光照渲染，映射到二维平面，得到光照渲染后图像；
所述图像合成模块，用于根据雕刻区域，将光照渲染后图像与AR场景图像进行合成，得到虚拟雕刻后图像。
所述该系统还包括纹理生成模块，用于根据输入的纹理信息或者待雕刻区域的纹理风格，生成雕刻内容的纹理图像，将雕刻内容的三维模型与雕刻内容的纹理图像进行映射，得到纹理映射后的雕刻内容的三维模型。
以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种基于光照渲染的AR场景的虚拟雕刻方法，其特征在于，该方法包括以下步骤：
S1.对移动终端摄像头采集到的AR场景图像，识别出待雕刻目标物；
S2.从待雕刻目标物分割出雕刻区域；
S3.根据输入的雕刻内容参数，生成雕刻内容；
S4.对雕刻内容进行布局，得到原始雕刻内容图像；
S5.根据原始雕刻内容图像各像素的位置信息，计算各像素对应的深度，生成雕刻内容的三维模型；
S6.根据光照方向和光照强度，对雕刻内容的三维模型进行光照渲染，并映射到二维平面，得到光照渲染后图像；
S7.根据雕刻区域，将光照渲染后图像与AR场景图像进行合成，得到虚拟雕刻后图像。
2.如权利要求1所述的方法，其特征在于，步骤S3中，输入雕刻内容信息的方式有以下两种：1)自定义书写方式，由终端设备绘制而来，同时输入字符的颜色；2)标准输入方式，由字符、字体、大小、粗细、颜色组成。
3.如权利要求1所述的方法，其特征在于，步骤S5中，像素的深度计算公式如下：
dep(x，y)＝ln(dist(x，y)-1)
其中，(x，y)表示雕刻内容中像素的位置信息，dist(x，y)为坐标为(x，y)的像素到雕刻内容边缘的最短距离。
4.如权利要求3所述的方法，其特征在于，步骤S5中，将平面坐标(x，y)及其对应的深度dep(x，y)组合为(x，y，d)，作为带有深度信息的雕刻内容图像的像素点。
5.如权利要求1所述的方法，其特征在于，步骤S6包括以下步骤：
S601.根据时间及移动终端的地理位置信息，确定光照方向向量，根据该地理位置信息的天气信息和移动终端摄像头的感光强度，获得光照强度；
S602.根据光照强度、光照方向向量，建立光源，采用局部光照模型和光线追踪算法对雕刻内容的三维模型进行光照渲染；
S603.由雕刻内容三维模型法线方向视图映射到二维平面，生成经光照渲染后的图像。
6.如权利要求1所述的方法，其特征在于，步骤S7包括以下步骤：
S701.对原始雕刻内容图像进行二值化处理，生成雕刻内容掩模；
S702.根据雕刻内容掩模直接取反，得到背景掩模；
S703.利用雕刻内容掩模从经光照渲染模块渲染后的图像中提取雕刻内容部分，利用背景掩模从雕刻区域图像中提取背景部分，将两部分进行叠加，得到叠加后的图像；
S704.利用叠加后的图像替换AR场景图像中的雕刻区域，得到雕刻后的目标图像。
7.如权利要求1所述的方法，其特征在于，步骤S5还包括：根据输入的纹理信息，生成雕刻内容的纹理图像；将雕刻内容的三维模型与雕刻内容的纹理图像进行映射，得到纹理映射后的雕刻内容的三维模型。
8.如权利要求1所述的方法，其特征在于，步骤S5还包括：根据待雕刻区域的纹理信息，生成雕刻内容的纹理图像；将雕刻内容的三维模型与雕刻内容的纹理图像进行映射，得到纹理映射后的雕刻内容的三维模型。
9.一种基于光照渲染的AR场景的虚拟雕刻系统，其特征在于，该系统包括：AR模块、雕刻内容生成与布局模块、雕刻深度提取模块、光照渲染模块、图像合成模块；
所述AR模块，用于对移动终端摄像头采集到的AR场景图像，识别出待雕刻目标物，从待雕刻目标物分割出雕刻区域；
所述雕刻内容生成与布局模块，用于根据输入的雕刻内容参数，生成雕刻内容，对雕刻内容进行布局，得到原始雕刻内容图像；
所述雕刻深度提取模块，用于根据原始雕刻内容图像各像素的位置信息，计算各像素对应的深度，生成雕刻内容的三维模型；
所述光照渲染模块，用于根据光照方向和光照强度，对雕刻内容的三维模型进行光照渲染，映射到二维平面，得到光照渲染后图像；
所述图像合成模块，用于根据雕刻区域，将光照渲染后图像与AR场景图像进行合成，得到虚拟雕刻后图像。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的基于光照渲染的AR场景的虚拟雕刻方法。
CN201910639842.4A 2019-07-16 2019-07-16 一种基于光照渲染的ar场景的虚拟雕刻方法及系统 Active CN112242004B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910639842.4A CN112242004B (zh) 2019-07-16 2019-07-16 一种基于光照渲染的ar场景的虚拟雕刻方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910639842.4A CN112242004B (zh) 2019-07-16 2019-07-16 一种基于光照渲染的ar场景的虚拟雕刻方法及系统

Publications (2)

Publication Number Publication Date
CN112242004A true CN112242004A (zh) 2021-01-19
CN112242004B CN112242004B (zh) 2023-09-01

Family

ID=74166739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910639842.4A Active CN112242004B (zh) 2019-07-16 2019-07-16 一种基于光照渲染的ar场景的虚拟雕刻方法及系统

Country Status (1)

Country Link
CN (1) CN112242004B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920238A (zh) * 2021-12-14 2022-01-11 深圳市大头兄弟科技有限公司 一种二维目标图案的三维化方法及相关设备
CN114066722A (zh) * 2021-11-03 2022-02-18 北京字节跳动网络技术有限公司 用于获取图像的方法、装置和电子设备
CN114169022A (zh) * 2021-10-29 2022-03-11 深圳精匠云创科技有限公司 在胚料上雕刻出雕刻标的3d表面的方法及系统
CN114998504A (zh) * 2022-07-29 2022-09-02 杭州摩西科技发展有限公司 二维图像光照渲染方法、装置、系统和电子装置

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000235657A (ja) * 1999-02-17 2000-08-29 Nippon Telegr & Teleph Corp <Ntt> 画像表示方法及び装置
US20030034974A1 (en) * 2001-08-15 2003-02-20 Mitsubishi Electric Research Laboratories, Inc. System and method for animating real objects with projected images
US20120069051A1 (en) * 2008-09-11 2012-03-22 Netanel Hagbi Method and System for Compositing an Augmented Reality Scene
CN102509355A (zh) * 2011-09-30 2012-06-20 北京航空航天大学 一种面向书法汉字的计算机虚拟雕刻方法
CN103500465A (zh) * 2013-09-13 2014-01-08 西安工程大学 基于增强现实技术的古代文物场景快速渲染方法
CN105393284A (zh) * 2013-06-28 2016-03-09 微软技术许可有限责任公司 基于人类身体数据的空间雕刻
CN105825544A (zh) * 2015-11-25 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
CN106354251A (zh) * 2016-08-17 2017-01-25 深圳前海小橙网科技有限公司 一种虚拟场景与真实场景融合的模型系统与方法
JP2017182241A (ja) * 2016-03-29 2017-10-05 株式会社バンダイナムコエンターテインメント プログラム及びコンピュータシステム
WO2018040511A1 (zh) * 2016-06-28 2018-03-08 上海交通大学 基于ar的二维图像转换至三维场景的实现方法
CN107845132A (zh) * 2017-11-03 2018-03-27 太平洋未来科技（深圳）有限公司 虚拟对象色彩效果的渲染方法和装置
CN108122155A (zh) * 2017-09-30 2018-06-05 苏州美房云客软件科技股份有限公司 存储设备、处理装置和虚拟选房系统的场景模型渲染方法
CN108227921A (zh) * 2017-12-30 2018-06-29 北京工业大学 一种基于沉浸式虚拟现实设备的数字曾侯乙编钟交互系统
US20180218535A1 (en) * 2017-02-02 2018-08-02 Adobe Systems Incorporated Generating a three-dimensional model from a scanned object
CN108460841A (zh) * 2018-01-23 2018-08-28 电子科技大学 一种基于单幅图像的室内场景光照环境估计方法
CN109215416A (zh) * 2018-10-24 2019-01-15 天津工业大学 一种基于增强现实技术的汉字辅助学习系统及方法
CN109427083A (zh) * 2017-08-17 2019-03-05 腾讯科技（深圳）有限公司 三维虚拟形象的显示方法、装置、终端及存储介质
US20190094981A1 (en) * 2014-06-14 2019-03-28 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN109840947A (zh) * 2017-11-28 2019-06-04 广州腾讯科技有限公司 增强现实场景的实现方法、装置、设备及存储介质
CN110009720A (zh) * 2019-04-02 2019-07-12 百度在线网络技术（北京）有限公司 Ar场景中的图像处理方法、装置、电子设备及存储介质

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000235657A (ja) * 1999-02-17 2000-08-29 Nippon Telegr & Teleph Corp <Ntt> 画像表示方法及び装置
US20030034974A1 (en) * 2001-08-15 2003-02-20 Mitsubishi Electric Research Laboratories, Inc. System and method for animating real objects with projected images
US20120069051A1 (en) * 2008-09-11 2012-03-22 Netanel Hagbi Method and System for Compositing an Augmented Reality Scene
CN102509355A (zh) * 2011-09-30 2012-06-20 北京航空航天大学 一种面向书法汉字的计算机虚拟雕刻方法
CN105393284A (zh) * 2013-06-28 2016-03-09 微软技术许可有限责任公司 基于人类身体数据的空间雕刻
CN103500465A (zh) * 2013-09-13 2014-01-08 西安工程大学 基于增强现实技术的古代文物场景快速渲染方法
US20190094981A1 (en) * 2014-06-14 2019-03-28 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN105825544A (zh) * 2015-11-25 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
JP2017182241A (ja) * 2016-03-29 2017-10-05 株式会社バンダイナムコエンターテインメント プログラム及びコンピュータシステム
WO2018040511A1 (zh) * 2016-06-28 2018-03-08 上海交通大学 基于ar的二维图像转换至三维场景的实现方法
CN106354251A (zh) * 2016-08-17 2017-01-25 深圳前海小橙网科技有限公司 一种虚拟场景与真实场景融合的模型系统与方法
US20180218535A1 (en) * 2017-02-02 2018-08-02 Adobe Systems Incorporated Generating a three-dimensional model from a scanned object
CN109427083A (zh) * 2017-08-17 2019-03-05 腾讯科技（深圳）有限公司 三维虚拟形象的显示方法、装置、终端及存储介质
CN108122155A (zh) * 2017-09-30 2018-06-05 苏州美房云客软件科技股份有限公司 存储设备、处理装置和虚拟选房系统的场景模型渲染方法
CN107845132A (zh) * 2017-11-03 2018-03-27 太平洋未来科技（深圳）有限公司 虚拟对象色彩效果的渲染方法和装置
CN109840947A (zh) * 2017-11-28 2019-06-04 广州腾讯科技有限公司 增强现实场景的实现方法、装置、设备及存储介质
CN108227921A (zh) * 2017-12-30 2018-06-29 北京工业大学 一种基于沉浸式虚拟现实设备的数字曾侯乙编钟交互系统
CN108460841A (zh) * 2018-01-23 2018-08-28 电子科技大学 一种基于单幅图像的室内场景光照环境估计方法
CN109215416A (zh) * 2018-10-24 2019-01-15 天津工业大学 一种基于增强现实技术的汉字辅助学习系统及方法
CN110009720A (zh) * 2019-04-02 2019-07-12 百度在线网络技术（北京）有限公司 Ar场景中的图像处理方法、装置、电子设备及存储介质

Non-Patent Citations (14)

* Cited by examiner, † Cited by third party
Title
YUKI OYAMA 等: "Illumination estimation based on human visual characteristics for AR", 《COMPUTER SCIENCE》 *
YUKI OYAMA 等: "Illumination estimation based on human visual characteristics for AR", 《COMPUTER SCIENCE》, 31 December 2018 (2018-12-31), pages 1 - 4 *
孙正忠: "一种针对移动端的头发建模和渲染方案", 《电子设计工程》 *
孙正忠: "一种针对移动端的头发建模和渲染方案", 《电子设计工程》, no. 23, 5 December 2018 (2018-12-05), pages 16 - 20 *
徐开秋，李敏松，巩振华等编著: "《3ds Max&Lightscape软件实用教程》", 东方出版中心 *
王成: "硬质材料的激光三维雕刻技术研究", 《中国博士学位论文全文数据库 信息科技辑》 *
王成: "硬质材料的激光三维雕刻技术研究", 《中国博士学位论文全文数据库 信息科技辑》, 15 May 2009 (2009-05-15), pages 135 - 8 *
王敏等: "基于二维半雕刻系统的三维人脸重建", 《计算机应用研究》 *
王敏等: "基于二维半雕刻系统的三维人脸重建", 《计算机应用研究》, no. 12, 28 December 2005 (2005-12-28), pages 165 - 167 *
王涌天;郑伟;刘越;常军;黄天智;王立峰;苗春;: "基于增强现实技术的圆明园现场数字重建", 科技导报, no. 03, pages 36 - 40 *
王美丽: "基于 3 维模型的数字浮雕生成技术", 《中国图象图形学报》, pages 1273 - 1284 *
缪永伟;陈敏燕;方旭东;陈佳舟;刘震;: "基于线画图案的三维模型雕刻", 计算机辅助设计与图形学学报, no. 01, pages 50 - 57 *
陈宇拓;邓背介;韩旭里;: "木工数字化智能雕刻系统关键技术的研究", CAD/CAM与制造业信息化, no. 1, pages 128 - 131 *
陈旺;朱米娜;: "虚拟技术在徽雕艺术保护中的应用", 湖南城市学院学报(自然科学版), no. 02, pages 127 - 128 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114169022A (zh) * 2021-10-29 2022-03-11 深圳精匠云创科技有限公司 在胚料上雕刻出雕刻标的3d表面的方法及系统
CN114066722A (zh) * 2021-11-03 2022-02-18 北京字节跳动网络技术有限公司 用于获取图像的方法、装置和电子设备
CN114066722B (zh) * 2021-11-03 2024-03-19 抖音视界有限公司 用于获取图像的方法、装置和电子设备
CN113920238A (zh) * 2021-12-14 2022-01-11 深圳市大头兄弟科技有限公司 一种二维目标图案的三维化方法及相关设备
CN113920238B (zh) * 2021-12-14 2022-03-15 深圳市大头兄弟科技有限公司 一种二维目标图案的三维化方法及相关设备
CN114998504A (zh) * 2022-07-29 2022-09-02 杭州摩西科技发展有限公司 二维图像光照渲染方法、装置、系统和电子装置

Also Published As

Publication number Publication date
CN112242004B (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN112242004B (zh) 一种基于光照渲染的ar场景的虚拟雕刻方法及系统
Rematas et al. Urban radiance fields
CN108919944B (zh) 一种基于数字城市模型实现在显示端进行数据无损交互的虚拟漫游方法
CN109493407A (zh) 实现激光点云稠密化的方法、装置及计算机设备
Kaneda et al. Three dimensional terrain modeling and display for environmental assessment
CN114170393A (zh) 基于多种数据的三维地图场景搭建方法
Wang Landscape design of coastal area based on virtual reality technology and intelligent algorithm
Takeuchi et al. ClayVision: the (elastic) image of the city
CN108921943A (zh) 一种基于车道级高精度地图的道路三维模型建模方法
CN111666365B (zh) 电子地图服务根据授权区域快速过滤显示的方法
CN109446929A (zh) 一种基于增强现实技术的简笔画识别系统
CN106611056B (zh) 三维仿真地图的切图方法及装置
CN104268941A (zh) 仿真三维地图的热区形成方法及装置
CN112504271A (zh) 用于自动生成环境的训练图像集的系统和方法
CN115393872A (zh) 一种训练文本分类模型的方法、装置、设备及存储介质
CN108346169B (zh) 一种二维矢量渲染方法及装置
Ruzínoor et al. 3D terrain visualisation for GIS: A comparison of different techniques
CN107330975A (zh) 一种三维军事标绘系统
CN113838199B (zh) 一种三维地形生成方法
Whelan et al. Formulated silhouettes for sketching terrain
Kennie et al. Modelling for digital terrain and landscape visualisation
Smith et al. Digital archaeology field recording in the 4th dimension: ArchField C++ a 4D GIS for digital field work
CN114416764A (zh) 地图更新方法、装置、设备及存储介质
CN114187426A (zh) 一种地图增强现实系统
CN114490907A (zh) 名城管理数据库的构建方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant