CN106940897A - 一种在ar场景中介入现实光影的方法 - Google Patents

一种在ar场景中介入现实光影的方法 Download PDF

Info

Publication number
CN106940897A
CN106940897A CN201710120485.1A CN201710120485A CN106940897A CN 106940897 A CN106940897 A CN 106940897A CN 201710120485 A CN201710120485 A CN 201710120485A CN 106940897 A CN106940897 A CN 106940897A
Authority
CN
China
Prior art keywords
virtual objects
intervened
panorama
scenes
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710120485.1A
Other languages
English (en)
Inventor
石海
吴天奇
朱博
刘捷
柳尧顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Snail Digital Technology Co Ltd
Original Assignee
Suzhou Snail Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Snail Digital Technology Co Ltd filed Critical Suzhou Snail Digital Technology Co Ltd
Priority to CN201710120485.1A priority Critical patent/CN106940897A/zh
Publication of CN106940897A publication Critical patent/CN106940897A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)

Abstract

一种在AR场景中介入现实光影的方法，包括以下步骤通过AR设备的拍照功能对当前所处场景进行多角度拍照，得到一组照片；根据所拍摄的照片在AR设备系统内部生成一组全景画面；用全景画面生成周围环境在虚拟对象表面的镜面反射效果；根据全景画面生成漫反射环境图；通过漫反射环境图给虚拟对象生成漫反射光照；把调整好的虚拟对象合成到摄像头实时拍摄的画面，然后在显示设备上显示出来，并通过AR设备投影到人眼中。本发明的方法，用于让AR设备中虚拟物品透过真实世界光影的影响，和真实世界中的光影能产生互动。

Description

一种在AR场景中介入现实光影的方法
技术领域
本发明涉及AR设备投射领域，具体涉及将现实光影通过AR设备投射到虚拟物品上的方法。
背景技术
增强现实(Augmented Reality，简称AR)技术，是将虚拟世界信息通过科技处理应用到真实世界，并通过模拟仿真的方式被人类感官所感知的一项技术。使用者利用头戴式显示器，可以在现实世界中感知到虚拟物品的存在，其所述虚拟物品都是由电脑前期生成，光影效果无法获取当前所在现实世界场景中的光影色彩投影，因此给人一种不真实的感觉，对于强调真实体验的AR设备来讲，是一个明显缺陷。
发明内容
为了解决现有技术存在的不足，本发明的目的在于提供一种在AR场景中介入现实光影的方法，用于让AR设备中虚拟物品透过真实世界光影的影响，和真实世界中的光影能产生互动。
为实现上述目的，本发明提供的在AR场景中介入现实光影的方法，包括以下步骤：
（1）通过AR设备的拍照功能对当前所处场景进行多角度拍照，得到一组照片；
（2）根据所拍摄的照片在AR设备系统内部生成一组全景画面；
（3）用全景画面生成周围环境在虚拟对象表面的镜面反射效果；
（4）根据全景画面生成漫反射环境图；
（5）通过漫反射环境图给虚拟对象生成漫反射光照；
（6）把调整好的虚拟对象合成到摄像头实时拍摄的画面，然后在显示设备上显示出来，并通过AR设备投影到人眼中。
进一步地，所述步骤（3），包括以下步骤：
（a）根据观察者的视线方向、虚拟对象表面任意点的法线方向，计算出入射光方向；
（b）根据所述任意点的光滑程度，计算出入射光方向周围一定范围的入射光在虚拟对象表面的所述任意点处反射到人眼中的光照信息。
进一步地，所述步骤（4）包括，对于每个法线方向，计算全景画面里所有像素对它的光照结果并求和。
进一步地，所述步骤（5）包括，根据虚拟对象表面任意点的法线方向，从漫反射环境图里获得这个法线方向的光照信息。
进一步地，所述漫反射环境图用于保存在这个环境中每个法线方向能够接收到的周围环境发射给它的漫反射光照强度和颜色。
更进一步地，所述漫反射环境图用全景画面贴图或球谐保存。
本发明提出一种在AR场景中介入现实光影的方法，通过AR设备将现实场景的照片生成为漫反射环境图，进而形成虚拟物品，从而使AR设备更加真实。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起，用于解释本发明，并不构成对本发明的限制。在附图中：
图1为根据本发明的在AR场景中介入现实光影的方法的流程图；
图2为计算入射光方向的示意图；
图3为计算镜面反射光的示意图；
图4为计算表面接收到的所有方向的光照之和的示意图；
图5为不同粗糙程度的镜面反射对比的示意图；
图6为漫反射环境图；
图7为最终效果的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图1为根据本发明的在AR场景中介入现实光影的方法的流程图，下面将参考图1，对本发明的在AR场景中介入现实光影的方法进行详细描述。
首先，在步骤101，通过AR设备的拍照功能对当前所处场景进行多角度拍照，得到一组照片。
在步骤102，根据所拍摄的照片在AR设备系统内部生成一组全景画面(Cube Map)。
在步骤103，用全景画面生成周围环境在虚拟对象表面的镜面反射(SpecularReflection)效果。其具体方案如下：
（a）根据观察者的视线方向v、虚拟对象表面任意点p的法线方向n等数据，计算出入射光方向r，如图2所示。
（b）根据p点的光滑程度g（越光滑的材质镜面反射越清晰），计算出r方向周围一定范围的入射光在虚拟对象表面p点处反射到人眼中的光照信息，如图3所示。
图5中示出了不同粗糙程度的镜面反射对比。其中，最左侧的模型的材质最光滑的（g最大），往右越来越粗糙（g越来越小）。可以看到越光滑的材质镜面反射越清晰。
在步骤104，根据全景画面生成漫反射环境图。漫反射环境图用于保存在这个环境中每个法线方向能够接收到的周围环境发射给它的漫反射光照强度和颜色。漫反射环境图可以用全景画面(Cube Map)贴图或球谐(Spherical Harmonics)保存。
生成漫反射环境图的具体方案：对于每个法线方向，计算全景画面里所有像素对它的光照结果并求和，如图4所示。
图5为生成的漫反射环境图(Cube Map)。
在步骤105，通过漫反射环境图给虚拟对象生成漫反射光照。具体方案：根据虚拟对象表面任意点P的法线方向，从漫反射环境图里获得这个法线方向的光照信息。
图7为根据虚拟对象表面法线方向，从漫反射环境图里获得漫反射光照信息的最终效果图。
在步骤106，把调整好的虚拟对象合成到摄像头实时拍摄的画面，然后在显示设备上显示出来，并通过AR设备投影到人眼中。
本领域普通技术人员可以理解：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种在AR场景中介入现实光影的方法，包括以下步骤：
（1）通过AR设备的拍照功能对当前所处场景进行多角度拍照，得到一组照片；
（2）根据所拍摄的照片在AR设备系统内部生成一组全景画面；
（3）用全景画面生成周围环境在虚拟对象表面的镜面反射效果；
（4）根据全景画面生成漫反射环境图；
（5）通过漫反射环境图给虚拟对象生成漫反射光照；
（6）把调整好的虚拟对象合成到摄像头实时拍摄的画面，然后在显示设备上显示出来，并通过AR设备投影到人眼中。
2.根据权利要求1所述的在AR场景中介入现实光影的方法，其特征在于，所述步骤（3），包括以下步骤：
（a）根据观察者的视线方向、虚拟对象表面任意点的法线方向，计算出入射光方向；
（b）根据所述任意点的光滑程度，计算出入射光方向周围一定范围的入射光在虚拟对象表面的所述任意点处反射到人眼中的光照信息。
3.根据权利要求1所述的在AR场景中介入现实光影的方法，其特征在于，所述步骤（4）包括，对于每个法线方向，计算全景画面里所有像素对它的光照结果并求和。
4.根据权利要求1所述的在AR场景中介入现实光影的方法，其特征在于，所述步骤（5）包括，根据虚拟对象表面任意点的法线方向，从漫反射环境图里获得这个法线方向的光照信息。
5.根据权利要求1所述的在AR场景中介入现实光影的方法，其特征在于，所述漫反射环境图用于保存在这个环境中每个法线方向能够接收到的周围环境发射给它的漫反射光照强度和颜色。
6.根据权利要求5所述的在AR场景中介入现实光影的方法，其特征在于，所述漫反射环境图用全景画面贴图或球谐保存。
CN201710120485.1A 2017-03-02 2017-03-02 一种在ar场景中介入现实光影的方法 Pending CN106940897A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710120485.1A CN106940897A (zh) 2017-03-02 2017-03-02 一种在ar场景中介入现实光影的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710120485.1A CN106940897A (zh) 2017-03-02 2017-03-02 一种在ar场景中介入现实光影的方法

Publications (1)

Publication Number Publication Date
CN106940897A true CN106940897A (zh) 2017-07-11

Family

ID=59469484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710120485.1A Pending CN106940897A (zh) 2017-03-02 2017-03-02 一种在ar场景中介入现实光影的方法

Country Status (1)

Country Link
CN (1) CN106940897A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107749076A (zh) * 2017-11-01 2018-03-02 太平洋未来科技（深圳）有限公司 增强现实场景中生成现实光照的方法和装置
CN109214351A (zh) * 2018-09-20 2019-01-15 太平洋未来科技（深圳）有限公司 一种ar成像方法、装置及电子设备
CN109725417A (zh) * 2017-10-27 2019-05-07 幻视互动（北京）科技有限公司 基于光波导的深度处理数字光信号的方法及近眼显示装置
US10559121B1 (en) 2018-03-16 2020-02-11 Amazon Technologies, Inc. Infrared reflectivity determinations for augmented reality rendering
US10607567B1 (en) * 2018-03-16 2020-03-31 Amazon Technologies, Inc. Color variant environment mapping for augmented reality
US10777010B1 (en) 2018-03-16 2020-09-15 Amazon Technologies, Inc. Dynamic environment mapping for augmented reality
CN111866489A (zh) * 2019-04-29 2020-10-30 浙江开奇科技有限公司 一种实现沉浸式全景教学的方法
WO2021223133A1 (zh) * 2020-05-07 2021-11-11 浙江大学 一种基于神经网络的增强现实绘制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246600A (zh) * 2008-03-03 2008-08-20 北京航空航天大学 用球面全景摄像机实时生成增强现实环境光照模型的方法
CN101710429A (zh) * 2009-10-12 2010-05-19 湖南大学 一种基于动态light map的增强现实系统光照算法
CN102262705A (zh) * 2010-05-31 2011-11-30 孟兵 实景虚拟现实方法
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US20140049617A1 (en) * 2009-05-18 2014-02-20 Kodaira Associates Inc. Image information output method
CN104571532A (zh) * 2015-02-04 2015-04-29 网易有道信息技术（北京）有限公司 一种实现增强现实或虚拟现实的方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246600A (zh) * 2008-03-03 2008-08-20 北京航空航天大学 用球面全景摄像机实时生成增强现实环境光照模型的方法
US20140049617A1 (en) * 2009-05-18 2014-02-20 Kodaira Associates Inc. Image information output method
CN101710429A (zh) * 2009-10-12 2010-05-19 湖南大学 一种基于动态light map的增强现实系统光照算法
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
CN102262705A (zh) * 2010-05-31 2011-11-30 孟兵 实景虚拟现实方法
CN104571532A (zh) * 2015-02-04 2015-04-29 网易有道信息技术（北京）有限公司 一种实现增强现实或虚拟现实的方法及装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109725417A (zh) * 2017-10-27 2019-05-07 幻视互动（北京）科技有限公司 基于光波导的深度处理数字光信号的方法及近眼显示装置
CN109725417B (zh) * 2017-10-27 2024-04-09 江苏洪旭德生科技有限公司 基于光波导的深度处理数字光信号的方法及近眼显示装置
CN107749076A (zh) * 2017-11-01 2018-03-02 太平洋未来科技（深圳）有限公司 增强现实场景中生成现实光照的方法和装置
US10559121B1 (en) 2018-03-16 2020-02-11 Amazon Technologies, Inc. Infrared reflectivity determinations for augmented reality rendering
US10607567B1 (en) * 2018-03-16 2020-03-31 Amazon Technologies, Inc. Color variant environment mapping for augmented reality
US10777010B1 (en) 2018-03-16 2020-09-15 Amazon Technologies, Inc. Dynamic environment mapping for augmented reality
CN109214351A (zh) * 2018-09-20 2019-01-15 太平洋未来科技（深圳）有限公司 一种ar成像方法、装置及电子设备
CN111866489A (zh) * 2019-04-29 2020-10-30 浙江开奇科技有限公司 一种实现沉浸式全景教学的方法
WO2021223133A1 (zh) * 2020-05-07 2021-11-11 浙江大学 一种基于神经网络的增强现实绘制方法

Similar Documents

Publication Publication Date Title
CN106940897A (zh) 一种在ar场景中介入现实光影的方法
US11182974B2 (en) Method and system for representing a virtual object in a view of a real environment
CN100594519C (zh) 用球面全景摄像机实时生成增强现实环境光照模型的方法
CN104766270B (zh) 一种基于鱼眼镜头的虚实光照融合方法
JP4804256B2 (ja) 情報処理方法
US10068369B2 (en) Method and apparatus for selectively integrating sensory content
US20100110069A1 (en) System for rendering virtual see-through scenes
JPH07306955A (ja) 三次元イリュージョンを生み出す方法およびシステム
CN107093204A (zh) 一种基于全景画面影响虚拟对象光影效果的方法
US10719920B2 (en) Environment map generation and hole filling
CN110009720A (zh) Ar场景中的图像处理方法、装置、电子设备及存储介质
US9183654B2 (en) Live editing and integrated control of image-based lighting of 3D models
US11276150B2 (en) Environment map generation and hole filling
JPH11175762A (ja) 光環境計測装置とそれを利用した仮想画像への陰影付与装置及び方法
Sueishi et al. Lumipen 2: Dynamic projection mapping with mirror-based robust high-speed tracking against illumination changes
CN109640070A (zh) 一种立体显示方法、装置、设备及存储介质
Grosch et al. Consistent interactive augmentation of live camera images with correct near-field illumination
US9897806B2 (en) Generation of three-dimensional imagery to supplement existing content
US20210374982A1 (en) Systems and Methods for Illuminating Physical Space with Shadows of Virtual Objects
Manabe et al. Casting virtual shadows based on brightness induction for optical see-through displays
Noh et al. Soft shadow rendering based on real light source estimation in augmented reality
WO2022116194A1 (zh) 一种全景呈现方法及其装置
Hieda et al. Digital facial augmentation for interactive entertainment
Pepperell et al. Egocentric vision in a 3D game using linear perspective and natural rendering
CN109309827A (zh) 用于360°悬浮光场三维显示系统的多人实时跟踪装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170711