CN106408663B - 一种增强现实应用模型真实度的方法及系统 - Google Patents

一种增强现实应用模型真实度的方法及系统 Download PDF

Info

Publication number
CN106408663B
CN106408663B CN201610759970.9A CN201610759970A CN106408663B CN 106408663 B CN106408663 B CN 106408663B CN 201610759970 A CN201610759970 A CN 201610759970A CN 106408663 B CN106408663 B CN 106408663B
Authority
CN
China
Prior art keywords
model
grid
meshes
tag
reflected intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610759970.9A
Other languages
English (en)
Other versions
CN106408663A (zh
Inventor
张宝龙
王国彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tubatu Group Co Ltd
Original Assignee
Shenzhen Bincent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Bincent Technology Co Ltd filed Critical Shenzhen Bincent Technology Co Ltd
Priority to CN201610759970.9A priority Critical patent/CN106408663B/zh
Publication of CN106408663A publication Critical patent/CN106408663A/zh
Application granted granted Critical
Publication of CN106408663B publication Critical patent/CN106408663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明适用于虚拟技术改进领域，提供了一种增强现实应用模型真实度的方法,该方法中具有摄录功能的拍摄设备，所述方法包括以下步骤：A、在制作模型中对需要添加动态反射的模型网格进行规范处理；B、在AR应用载入模型时收集具有Tag标记的模型网格及反射强度参数；C、捕捉真实场景画面替换具有Tag标记模型网格的反射贴图并调整反射强度。在模型的材质中，添加感应真实场景的动态反射效果，动态反射的贴图来自摄像机捕捉到的现实场景画面，从而提升模型与现实场景的结合度，优化操作者体验。提高虚拟内容与现实场景的结合度，提高真实度。

Description

一种增强现实应用模型真实度的方法及系统
技术领域
本发明属于虚拟技术改进领域，尤其涉及一种增强现实应用模型真实度的方法及系统。
背景技术
增强现实技术(AR)是一种实时地计算摄像机影像的位置及角度并叠加虚拟对象的技术，这种技术的目标是在屏幕上把虚拟世界叠加到现实世界并进行互动。增强现实场景中的虚拟内容与现实场景的结合度对增强现实的体验有直接的影响。有一类增强现实是在现实视频中增加虚拟的模型，达到整体的搭配效果。例如家装领域，在房间内摆放虚拟的椅子。
针对当前市面上的已有AR应用，增加的模型与现实融合的比较生硬，真实度不高，模型与现实场景的结合度低，操作者体验较差。
发明内容
本发明的目的在于提供一种增强现实应用模型真实度的方法，旨在解决上述的技术问题。
本发明是这样实现的，一种增强现实应用模型真实度的方法，该方法中具有摄录功能的拍摄设备，所述方法包括以下步骤：
A、在制作模型中对需要添加动态反射的模型网格进行规范处理；
B、在AR应用载入模型时收集具有Tag标记的模型网格及反射强度参数；
C、捕捉真实场景画面替换具有Tag标记模型网格的反射贴图并调整反射强度。
本发明的进一步技术方案是：所述步骤A之前还包括步骤:
A1、利用拍摄设备对场景进行拍摄或录制。
本发明的进一步技术方案是：所述步骤A中的规范处理为对动态反射的模型网格进行Tag标记。
本发明的进一步技术方案是：所述步骤B中包括以下步骤：
B1、AR应用加载步骤A中制作生成的模型；
B2、对加载的模型进行遍历模型网格拆分；
B3、判断拆分的模型网格是否带有反射Tag属性，如是，则收集所有Tag网格及反射强度参数并执行步骤B4,；如否，则执行步骤B4;
B4、判断模型网格是否为最后一个网格，如是，则结束本次操作，如否，则返回步骤B2。
本发明的进一步技术方案是：所述步骤C中包括以下步骤：
C1、调用拍摄设备捕捉真实场景的实时画面；
C2、将捕捉到的画面保存为图像；
C3、将保存的图像替换步骤B中反射网格的反射通道贴图；
C4、对反射通道内的贴图进行反射强度参数调整。
本发明的另一目的在于提供一种增强现实应用模型真实度的系统，该系统中具有摄录功能的拍摄设备，所述系统包括：
模型制作模块，用于在制作模型中对需要添加动态反射的模型网格进行规范处理；
信息收集模块，用于在AR应用载入模型时收集具有Tag标记的模型网格及反射强度参数；
替换调整模块，用于捕捉真实场景画面替换具有Tag标记模型网格的反射贴图并调整反射强度。
本发明的进一步技术方案是：所述模型制作模块之前还包括：
对场景抓拍模块，用于利用拍摄设备对场景进行拍摄或录制。
本发明的进一步技术方案是：所述模型制作模块中的规范处理为对动态反射的模型网格进行Tag标记。
本发明的进一步技术方案是：所述信息收集模块中包括：
模型加载单元，用于AR应用加载模型制作模块中制作生成的模型；
模型拆分单元，用于对加载的模型进行遍历模型网格拆分；
属性判断单元，用于判断拆分的模型网格是否带有反射Tag属性，如是，则收集所有Tag网格及反射强度参数并执行网格判断单元,；如否，则执行网格判断单元;
网格判断单元，用于判断模型网格是否为最后一个网格，如是，则结束本次操作，如否，则返回模型拆分单元。
本发明的进一步技术方案是：所述替换调整模块中包括：
实时画面捕捉单元，用于调用拍摄设备捕捉真实场景的实时画面；
图像保存单元，用于将捕捉到的画面保存为图像；
贴图替换单元，用于将保存的图像替换步骤B中反射网格的反射通道贴图；
参数调整单元，用于对反射通道内的贴图进行反射强度参数调整。
本发明的有益效果是：在模型的材质中，添加感应真实场景的动态反射效果，动态反射的贴图来自摄像机捕捉到的现实场景画面，从而提升模型与现实场景的结合度，优化操作者体验。提高虚拟内容与现实场景的结合度，提高真实度。
附图说明
图1是本发明实施例提供的增强现实应用模型真实度的方法的流程图。
图2是本发明实施例提供的增强现实应用模型真实度的系统的结构框图。
具体实施方式
图1示出了本发明提供的增强现实应用模型真实度的方法的流程图，其详述如下：
步骤S1，利用拍摄设备对场景进行拍摄或录制。利用拍摄设备对要制作模型的场地进行图形及画面进行抓拍，在抓拍的过程中尽量将现场抓拍全面；在对现场抓拍中使用的拍摄设备为摄像机。
步骤S2，在制作模型中对需要添加动态反射的模型网格进行规范处理；将现场抓拍的图片进行信息提取，根据提取的信息制作现场的真实模型，在制作模型中，对需要添加动态反射的模型网格进行规范处理，其中规范处理是动态反射的模型网格进行Tag标记。
步骤S3，在AR应用载入模型时收集具有Tag标记的模型网格及反射强度参数；收集反射网格及反射强度参数；步骤S31，在AR应用加载步骤S2中制作生成的模型，步骤S32，对加载模型根据网格的特点进行拆分，按照不同的部位拆分成若干个小块，步骤S33，对拆分后的小块模型网格进行判断，判断拆分的小块模型网格是否带有反射Tag属性，如是，则收集所有Tag网格及反射强度参数并执行步骤S34；如否，则执行步骤S34;在做完模型网格属性判断后，S34，对模型网格做是否为最后一个网格判断，如是结束本次操作，如否，则返回步骤S32。
步骤S4，捕捉真实场景画面替换具有Tag标记模型网格的反射贴图并调整反射强度。调用摄像头，捕获并保存图像，并将图像替换步骤S3的反射网格的反射通道贴图。步骤S41，调用拍摄设备捕捉真实场景的实时画面；步骤S42，将捕捉到的画面保存为图像；步骤S43，将保存的图像替换步骤S3中反射网格的反射通道贴图；步骤S4对反射通道内的贴图进行反射强度参数调整。
在对图像进行替换调整中生成了第一AR识别器及第二AR识别器，两个识别器在本步骤中起到的作用不同；其中，获取由拍摄设备捕获的图像。图像包括 AR 标记及其周边环境的场景，使用第一AR识别器分析由拍摄设备捕获的AR标记图像及其周边环境的图像，确定AR标记图像在场景中为户型所对应的对象结构的位置、姿态和缩放的模型网格，并且在与AR 标记的户型对象结构的位置、姿态和缩放相对应的视场中在适当的位置处虚拟放置对应的户型对象结构参数； 使用第一AR识别器针对在所述视场中在适当的位置处虚拟放置的户型对象结构进行计算 ，使得第二 AR 识别器针对在视场中在适当的位置处虚拟放置的户型对象结构来计算户型对像结构在由拍摄设备在视场中随后捕获的捕获图像进行Tag标记模型网格反射贴图作为第二视场中的外观 。
通过上述步骤的处理，使模型感知真实场景的变化，并随着真实场景的变化而变化，有效提高真实度。
如图2所示，本发明的另一目的在于提供一种增强现实应用模型真实度的系统，该系统中具有摄录功能的拍摄设备，所述系统包括：
模型制作模块，用于在制作模型中对需要添加动态反射的模型网格进行规范处理；
信息收集模块，用于在AR应用载入模型时收集具有Tag标记的模型网格及反射强度参数；
替换调整模块，用于捕捉真实场景画面替换具有Tag标记模型网格的反射贴图并调整反射强度。
所述模型制作模块之前还包括：
对场景抓拍模块，用于利用拍摄设备对场景进行拍摄或录制。
所述模型制作模块中的规范处理为对动态反射的模型网格进行Tag标记。
所述信息收集模块中包括：
模型加载单元，用于AR应用加载模型制作模块中制作生成的模型；
模型拆分单元，用于对加载的模型进行遍历模型网格拆分；
属性判断单元，用于判断拆分的模型网格是否带有反射Tag属性，如是，则收集所有Tag网格及反射强度参数并执行网格判断单元,；如否，则执行网格判断单元;
网格判断单元，用于判断模型网格是否为最后一个网格，如是，则结束本次操作，如否，则返回模型拆分单元。
所述替换调整模块中包括：
实时画面捕捉单元，用于调用拍摄设备捕捉真实场景的实时画面；
图像保存单元，用于将捕捉到的画面保存为图像；
贴图替换单元，用于将保存的图像替换步骤B中反射网格的反射通道贴图；
参数调整单元，用于对反射通道内的贴图进行反射强度参数调整。
在模型的材质中，添加感应真实场景的动态反射效果，动态反射的贴图来自摄像机捕捉到的现实场景画面，从而提升模型与现实场景的结合度，优化操作者体验。提高虚拟内容与现实场景的结合度，提高真实度。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种增强现实应用模型真实度的方法，该方法中具有摄录功能的拍摄设备，其特征在于，所述方法包括以下步骤：
A、在制作模型中对需要添加动态反射的模型网格进行规范处理；
B、在AR应用载入模型时收集具有Tag标记的模型网格及反射强度参数；
C、捕捉真实场景画面替换具有Tag标记模型网格的反射贴图并调整反射强度；
所述步骤B中包括以下步骤：
B1、AR应用加载步骤A中制作生成的模型；
B2、对加载的模型进行遍历模型网格拆分；
B3、判断拆分的模型网格是否带有反射Tag属性，如是，则收集所有Tag网格及反射强度参数并执行步骤B4,；如否，则执行步骤B4;
B4、判断模型网格是否为最后一个网格，如是，则结束本次操作，如否，则返回步骤B2。
2.根据权利要求1所述的方法，其特征在于，所述步骤A之前还包括步骤:
A1、利用拍摄设备对场景进行拍摄或录制。
3.根据权利要求2所述的方法，其特征在于，所述步骤A中的规范处理为对动态反射的模型网格进行Tag标记。
4.根据权利要求2所述的方法，其特征在于，所述步骤C中包括以下步骤：
C1、调用拍摄设备捕捉真实场景的实时画面；
C2、将捕捉到的画面保存为图像；
C3、将保存的图像替换步骤B中反射网格的反射通道贴图；
C4、对反射通道内的贴图进行反射强度参数调整。
5.一种增强现实应用模型真实度的系统，该系统中具有摄录功能的拍摄设备，其特征在于，所述系统包括：
模型制作模块，用于在制作模型中对需要添加动态反射的模型网格进行规范处理；
信息收集模块，用于在AR应用载入模型时收集具有Tag标记的模型网格及反射强度参数；
替换调整模块，用于捕捉真实场景画面替换具有Tag标记模型网格的反射贴图并调整反射强度；
所述信息收集模块中包括：
模型加载单元，用于AR应用加载模型制作模块中制作生成的模型；
模型拆分单元，用于对加载的模型进行遍历模型网格拆分；
属性判断单元，用于判断拆分的模型网格是否带有反射Tag属性，如是，则收集所有Tag网格及反射强度参数并执行网格判断单元,；如否，则执行网格判断单元;
网格判断单元，用于判断模型网格是否为最后一个网格，如是，则结束本次操作，如否，则返回模型拆分单元。
6.根据权利要求5所述的系统，其特征在于，所述模型制作模块之前还包括：
对场景抓拍模块，用于利用拍摄设备对场景进行拍摄或录制。
7.根据权利要求6所述的系统，其特征在于，所述模型制作模块中的规范处理为对动态反射的模型网格进行Tag标记。
8.根据权利要求7所述的系统，其特征在于，所述替换调整模块中包括：
实时画面捕捉单元，用于调用拍摄设备捕捉真实场景的实时画面；
图像保存单元，用于将捕捉到的画面保存为图像；
贴图替换单元，用于将保存的图像替换步骤B中反射网格的反射通道贴图；
参数调整单元，用于对反射通道内的贴图进行反射强度参数调整。
CN201610759970.9A 2016-08-30 2016-08-30 一种增强现实应用模型真实度的方法及系统 Active CN106408663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610759970.9A CN106408663B (zh) 2016-08-30 2016-08-30 一种增强现实应用模型真实度的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610759970.9A CN106408663B (zh) 2016-08-30 2016-08-30 一种增强现实应用模型真实度的方法及系统

Publications (2)

Publication Number Publication Date
CN106408663A CN106408663A (zh) 2017-02-15
CN106408663B true CN106408663B (zh) 2019-02-22

Family

ID=58003587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610759970.9A Active CN106408663B (zh) 2016-08-30 2016-08-30 一种增强现实应用模型真实度的方法及系统

Country Status (1)

Country Link
CN (1) CN106408663B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102656595A (zh) * 2010-03-10 2012-09-05 英派尔科技开发有限公司 在增强现实中通过动态建模来进行鲁棒对象识别
CN103679204A (zh) * 2013-12-23 2014-03-26 上海安琪艾可网络科技有限公司 基于智能移动设备平台的图像识别与创作应用系统及方法
CN103959325A (zh) * 2011-09-30 2014-07-30 艾欧酷立公司 基于位置感应来交换物品的基于位置增强现实系统和方法以及相关装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140285519A1 (en) * 2013-03-22 2014-09-25 Nokia Corporation Method and apparatus for providing local synchronization of information for augmented reality objects

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102656595A (zh) * 2010-03-10 2012-09-05 英派尔科技开发有限公司 在增强现实中通过动态建模来进行鲁棒对象识别
CN103959325A (zh) * 2011-09-30 2014-07-30 艾欧酷立公司 基于位置感应来交换物品的基于位置增强现实系统和方法以及相关装置
CN103679204A (zh) * 2013-12-23 2014-03-26 上海安琪艾可网络科技有限公司 基于智能移动设备平台的图像识别与创作应用系统及方法

Also Published As

Publication number Publication date
CN106408663A (zh) 2017-02-15

Similar Documents

Publication Publication Date Title
US10949978B2 (en) Automatic background replacement for single-image and multi-view captures
CN103716594B (zh) 基于运动目标检测的全景拼接联动方法及装置
US11798224B2 (en) Generation apparatus, system and method for generating virtual viewpoint image
CN106375662B (zh) 一种基于双摄像头的拍摄方法、装置和移动终端
CN105303557B (zh) 一种可透视型智能眼镜及其透视方法
CN105210368B (zh) 背景差分提取装置以及背景差分提取方法
WO2018223554A1 (zh) 一种多源视频剪辑播放方法及系统
TW201043025A (en) Motion object detection method using adaptive background model and computer program product thereof
CN109741404B (zh) 一种基于移动设备的光场采集方法
CN110837750B (zh) 一种人脸质量评价方法与装置
CN106170978A (zh) 深度图生成装置、方法和非短暂性计算机可读介质
CN108416754A (zh) 一种自动去除鬼影的多曝光图像融合方法
US10602117B1 (en) Tool for onsite augmentation of past events
CN107862718B (zh) 4d全息视频捕捉方法
CN110673735A (zh) 全息虚拟人ar互动展示方法、装置及设备
CN108600729A (zh) 动态3d模型生成装置及影像生成方法
CN104778750A (zh) 一种面部表情捕捉系统及实现方法
CN110910449B (zh) 识别物体三维位置的方法和系统
CN112102504A (zh) 一种基于混合现实的三维场景和二维图像混合方法
CN105282455A (zh) 一种拍照方法、装置及移动终端
CN106599779A (zh) 一种人耳识别方法
CN106408663B (zh) 一种增强现实应用模型真实度的方法及系统
CN108566545A (zh) 通过移动终端和球幕相机对大场景进行三维建模的方法
WO2019137186A1 (zh) 一种食物识别方法及装置、存储介质、计算机设备
CN115937983A (zh) 基于多视角深度图像的病患跌倒检测方法与系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 518000 R & D room 3501, block a, building 7, Vanke Cloud City Phase I, Xingke 1st Street, Xili community, Xili street, Nanshan District, Shenzhen City, Guangdong Province

Patentee after: Tubatu Group Co.,Ltd.

Address before: 1001-a, 10th floor, bike technology building, No.9, Keke Road, high tech Zone, Nanshan District, Shenzhen, Guangdong 518000

Patentee before: SHENZHEN BINCENT TECHNOLOGY Co.,Ltd.